@vontuchman Samaa mieltä, luulen että viim. marraskuun alkuun mennessä markkina kääntyy. Nyt ollaan malliyhtiöiden hidastuvan liikevaihdon harhassa (kesällä harha oli open source), vaikka hyperscaler/compute kysyntä pysyy hyvänä ja open source etc. vieneet markkinaosuutta frontierilta.
@JukkaLepikko Todellakin. Pientä riskiä hänen näkemyksessään AI:n talouteen integroitumisen nopeudessa, kun elää high perf. insinööri, startup ja ai konsultti ympäristössä. Mutta yksi parhaista ja erityisen hyödyllinen infran pullonkaulojen pohdinnassa.
@hkeskiva Niikun kuvastakin osittain näkyy, sirujen ohelle entistäkin tärkeämmäksi (myös tehokkuuden ja marginaalien osalta) muodostuu monet ”oheishärpäkkeet” eli networking, muisti, softa, security, sähkönsaanti, cooling etc.
@hkeskiva $/useful task tulee suorastaan romahtamaan. Se ei kuitenkaan tarkoita, että sirujen tai komponenttien hinnat laskisivat ainakaan lähitulevaisuudessa, tod näk. tekoälyn kysytä kasvaa nopeammin kuin tehokkuus paranee/hinta laskee, eli kokonaiskysyntä laskennalle kasvaa silti.
@dakpaklak@JukkaLepikko@JarmoFriman Open source voi tosiaan myös olla infralle hyvä asia, intelligence halpenee, käyttö leviää ja compute-kysyntä hajautuu frontieriä laajemmalle. Open sourse tarvitsee edelleen samalla tavalla GPU/ASICeja, HBM:ää ja datakeskuksia.
@dakpaklak@JukkaLepikko@JarmoFriman 50x halvempi malli ei tarkoita 50x vähemmän computea. Hintaan vaikuttavat mm. marginaalit, batching, käyttöaste ja tokenimäärät. Parempi mittari on compute per valmis tehtävä samalla laatutasolla.
@dakpaklak@JukkaLepikko@JarmoFriman Open source tarvitsee samalla tavalla laskentatehoa ja AI infraa. Se voi olla jopa hyödyllinen kysyntää hajauttava ja halpuuttava tekijä kun käyttäjän ei tarvitse maksaa AI lab marginaaleja. Vielä alkukesästä kalleus oli karhujen teesi ja yhtäkkiä se onkin halpuus/tehokkuus.
@JukkaLepikko Ehkä jopa turhankin varovainen näkemys verrattuna moniin muihin alan asiantuntijoihin ja kehittäjiin, mutta hyvää settiä. Ja tottahan se on, että edessä on todennäköisesti melko pomppuinen matka.