Train-to-Test scaling: Kada je račun za struju veći od cijelog tvog poslovanja

Pet milijuna dolara. To je otprilike koliko košta trenirati jedan solidan, moderni model umjetne inteligencije od nule, a da ne spominjemo one najveće čudovište koje žderu milijarde. Ali evo pitanja koje nitko u tom ludom trku za parametrima ne postavlja dok ne bude prekasno: što ako je račun za korištenje tog modela na kraju još veći? Što ako je cijela ova igra o izgradnji sve većih i većih jezgri zapravo financijski samoubojstvo koje samo čeka da se dogodi? Istraživači s Wisconsina i Stanforda upravo su objavili rad koji bi trebao izazvati kolektivni srčani udar u svim onim uredima gdje se planiraju budžeti za AI. Njihova poruka je jednostavna i ubitačna: sve što smo radili je krivo. Cijeli naš pristup skaliranju modela, cijela ta mantra "veći je bolji", cijela ta opsesija troškovima treniranja — to je bila samo prva polovica jednadžbe. Druga, mnogo skuplja polovica, tek dolazi. Zove se inferencija. I ona će vas pojesti.

Klasična logika u industriji je bila jednostavna: uložiš ogromne novce i gigavate struje da izgradiš model, a onda ga koristiš gotovo besplatno, jer jednom kad je model tu, jedini trošak je malo procesorske snage za svaki upit. To je bila poslovna logika koja je pokretala sve, od Googla do tvog lokalnog startupa koji obećava da će riješiti sve probleme s chatbotom. Problem je u tome što je ta logika temeljena na laži. Ili, preciznije, na zastarjeloj pretpostavci da ćeš model koristiti na jednostavan, predvidiv način. Stvarnost je puno gora. Stvarni, korisni modeli ne daju jedan odgovor. Oni daju dvadeset. Pedeset. Stotinu. Koriste tehnike poput "lančanog razmišljanja" ili "samopoboljšanja" gdje model sam sebe ispituje, proizvodi više mogućih putova razmišljanja, a onda bira najbolji. To nije besplatno. To je kao da za svaki upit koji postaviš, umjesto da pitaš jednog pametnog asistenta, angažiraš cijeli panel doktora znanosti da sat vremena raspravljaju, a ti plaćaš svakom po satu.

Ovo nije teoretski problem. Ovo je problem koji već uništava poslovne modele. Zamisli da si kompanija koja nudi AI asistenta za pravnu pomoć. Klijent upiše pitanje. Tvoj sustav, da bi dao što točniji i sigurniji odgovor, neće samo izbaciti prvi tekst koji mu padne na pamet. Napravit će desetak različitih verzija, procijeniti koja je najbolje argumentirana, koja se najbolje slaže s relevantnim zakonima, i tek onda će je poslati. Svaka od tih deset verzija košta procesorski ciklus. Košta struju. Košta vrijeme. Ako si optimizirao cijeli svoj biznis samo za troškove treniranja, upravo si dobio financijski udarac u glavu koji nisi vidio dolaziti. Ono što su ti znanstvenici predložili zove se "Train-to-Test scaling". To je jednostavna, ali genijalna ideja: ne gledaj samo koliko košta napraviti model. Gledaj cijeli životni ciklus. Gledaj omjer između onoga što potrošiš na izgradnju i onoga što ćeš potrošiti na korištenje. I ispostavlja se da, u mnogim slučajevima, puno je pametnije napraviti nešto manje, jeftinije za trenirati, ali štedljivije za pokretati, čak i ako je na papiru malo gluplje. Jer gluplji model koji možeš pitati sto puta za taj novac je na kraju pametniji od genijalca kojeg možeš pitati samo jednom.

Razmisli o tome na primjeru automobila. Cijela industrija je bila fokusirana na to da napravi što brži automobil, bez obzira na cijenu. Pa makar taj automobil trošio sto litara na sto kilometara. Logika je bila: "Bitno je da smo ga napravili! Vlasnik će valjda voziti malo!" Ali stvarnost je da će vlasnik htjeti voziti svaki dan. I račun za gorivo će ga bankrotirati prije nego što je prvi servis na redu. Upravo to se događa s AI. Mi gradimo Ferrarije koji troše gorivo kao tenkovi, a onda se čudimo što nitko ne može priuštiti da ih koristi na način na koji su namijenjeni. Apsurd je savršen. Milijarde se ulažu u smanjenje troškova treniranja za postotak, dok se potpuno zanemaruje ogroman, rastući vulkan troškova na strani korisnika. To je kao da bespovratno ulažeš u jeftiniju gradu kuće, ali zaboraviš provjeriti da li je zemljište izgradeno na izvoru geotermalne energije koji će ti progutati temelje za pet godina.

Ovdje dolazimo do srži problema, koji nije tehnološki, nego ljudski. To je problem kratkoročnog razmišljanja i zlonamjernog optimizma. U startup svijetu, u velikim tech kompanijama, u istraživačkim laboratorijima, nagrada je za onoga tko napravi najimpresivniji demo. Za onoga čiji model postigne najbolji rezultat na standardiziranom testu. Nitko ne nagrađuje onoga tko kaže: "Hej, naš model je 2% lošiji na testu, ali troši 60% manje struje kada ga netko stvarno koristi, što znači da će naš klijent preživjeti iduću godinu." Ta priča se ne prodaje. Ne dobivaš naslovnice. Ne privlačiš sljedeći rundu financiranja od ljudi koji žele čuti priču o eksponencijalnom rastu i dominaciji tržišta. Tako da svi igraju tu kratkoročnu igru, znajući ili ne znajući da grade financijsku vremensku bombu.

Ima tu i jedne druge, mračnije dimenzije. Što ako ovo nije slučajnost? Što ako je to namjerno? Zamisli poslovni model gdje ti, kao pružatelj cloud infrastrukture, potičeš sve da grade što veće, što proždrljivije modele. Ti im prodaješ računalnu snagu za treniranje. A onda, kad završe, oni moraju pokretati te monstrume negdje. I pogodi gdje? Na tvojoj infrastrukturi. Na tvojim GPU-ima. Za koju naplaćuješ po satu. Ti si prodao lopatu u zlatnoj groznici, a onda si i vlasnik jedine prodavaonice hrane i pića u cijelom rudarskom logoru. Troškovi inferencije postaju trajni, ponavljajući prihod. To je pretplata na budućnost. To je genijalno. I užasno.

Za one od nas koji su prošli kroz ranije cikluse tehnologije, ovo zvuči morbidno poznato. Sjećam se vremena dok su se ISP-ovi takmicali tko će ponuditi brži download, a potpuno su zanemarivali upload, jer su mislili da će korisnici samo konzumirati sadržaj. A onda je došao Web 2.0, blogovi, YouTube, cloud backup, i odjednom je upload bandwidth postao kritičan, a infrastruktura za to nije bila dizajnirana. Svi su morali skupo nadograđivati mreže. Ista je stvar ovdje. Gradimo infrastrukturu i modele za svijet u kojem će AI biti pasivan odgovarač na pitanja. A svijet se kreće prema aktivnim, iterativnim, višestrukim agentima koji neprestano razmišljaju. Arhitektura nije spremna. Ekonomija toga nije izračunata.

Konačno, ovo nas vraća na temeljno pitanje svake tehnologije: čemu služi? Ako je cilj stvoriti nešto što je toliko skupo za korištenje da ga samo nekoliko najbogatijih korporacija ili vlada može priuštiti, onda što smo točno postigli? Napravili smo alat za koncentraciju moći, ne za njeno distribuirana. Train-to-Test scaling nije samo suhi akademski pojam. To je alarm. To je pokazatelj da cijela ova grandiozna priča o demokratizaciji AI stoji na temeljima od pijeska. Možemo izgraditi najpametnije biće u povijesti, ali ako je cijena jednog razumnog razgovora s njim jednaka mjesečnoj plaći, onda smo samo izmislili najskuplju igračku ikada. Nismo riješili ništa. Samo smo stvorili novi problem. I, kao i uvijek, račun će doći na naplatu. Oni koji ga ne mogu platiti bit će izostavljeni iz budućnosti koju smo tako marljivo, ali krajnje kratkovido, gradili.

Budućnost je stigla. Donijela je račun za struju.

Izvor: venturebeat.com