Bolje hardver nego molitva

Pedeset milijardi dolara je gruba procjena onoga što je industrija utopila u ideju da će veći modeli, više podataka i jače grafike same riješiti problem inteligencije. Pas mater, to je iznos za koji bi mogao kupiti svaku tvornicu čipova na planeti, platiti deset generacija istraživača i još uvijek imati dovoljno za pristojnu zalihu Negronija za cijeli život. Umjesto toga, dobili smo modele koji troše energiju kao mala država i pamte stvari s točnošću pijanog DJ-a koji je izgubio USB s playlistom.

E sad, stiže vijest da bi bolji hardver mogao pretvoriti nule u AI heroje. Kao da je netko tek sad shvatio da alat određuje rezultat. Trideset godina u IT-u naučilo me jedno: kad ti netko kaže da je problem u softveru, obično laže. Problem je gotovo uvijek u hardveru, u infrastrukturi, u onome što diše ispod haube. Ali to nije sexy, to ne prodaje keynoteove, to ne diže dionice u nebo. Puno je lakše pričati o "revolucionarnim algoritmima" dok tvoji serveri crkavaju od vrućine.

I tu dolazimo do srži sranja. Industrija je godinama gurala monolitne, debeljuškaste modele jer su bili jednostavni za prodati. "Veći model = pametniji model" bila je mantra koja je funkcionirala dok investitori nisu počeli pitati za povrat. A sad, kad su računi za struju stigli, i kad se pokazalo da skaliranje više ne donosi taj skok u performansama, netko se sjetio da bi možda trebalo optimizirati hardver. Genijalno. Koji kurac.

Ako je AI tako pametan, zašto mu treba pola nuklearke da prepozna razliku između mačke i muffina? To pitanje nije naivno, ono je kirurški precizno. Jer cijela priča o skaliranju počiva na pretpostavci da ćeš, ako baciš dovoljno podataka i dovoljno računalne snage na problem, na kraju dobiti nešto što liči na inteligenciju. I funkcionira, donekle. Ali cijena je suluda. I to ne samo financijska, nego i ekološka, i infrastrukturna, i ljudska.

Pogledaj samo podatke: trenutni veliki jezični modeli troše energiju ekvivalentnu potrošnji manjeg grada samo za jednu sesiju treninga. A mi pričamo o alatima koji će, navodno, demokratizirati pristup informacijama. Demokratizacija koja zahtijeva elektranu i hlađenje tekućim dušikom zvuči kao oksimoron, ali eto, u Silicijskoj dolini to zovu "disrupcija".

I sad, netko je došao na ideju da bi riješenje moglo biti u specijaliziranom hardveru. Umjesto da gradiš univerzalne, glomazne modele koji su dobri u svemu a izvrsni ni u čemu, zašto ne bi napravio hardver koji je optimiziran za specifične zadatke? Zvuči logično, zar ne? Kao da si shvatio da ti za zabijanje čavala ne treba čekić od deset kilograma, nego precizan pištolj za čavle. Ali u svijetu gdje se hvališ veličinom, priznati da ti treba specijalizirani alat znači priznati da si dosad radio gluposti.

I tu dolazimo do najzabavnijeg dijela: svi ti startupi koji su se natjecali tko će napraviti veći model sad će se morati natjecati tko će napraviti pametniji hardver. A hardver nije softver. Ne možeš ga popraviti s patchom u petak navečer. Hardver zahtijeva godine istraživanja, tvornice, opskrbne lance, i ljude koji razumiju fiziku, a ne samo Python. To je potpuno druga igra, i mnogi igrači neće preživjeti tranziciju.

Naravno, uvijek postoje oni koji će reći da je to samo još jedan ciklus, da će se industrija prilagoditi. I u pravu su, donekle. Ali ono što je zanimljivo nije sama prilagodba, nego što ona govori o prirodi cijelog projekta. Ako je istina da bolji hardver može dramatično promijeniti performanse AI modela, onda to znači da smo dosad živjeli u iluziji da je softver jedino što je bitno. I ta iluzija je koštala milijarde.

Jedna od stvari koje sam naučio radeći s prvim ISP-ovima u Hrvatskoj devedesetih je da infrastruktura uvijek pobjeđuje. Možeš imati najbolji softver na svijetu, ali ako ti je backbone usko grlo, ako su ti serveri pregrijani, ako ti je mreža nestabilna, ništa od toga ne vrijedi. Isto vrijedi i za AI. Možeš imati najbolji model, ali ako ga pokrećeš na hardveru koji je dizajniran za igrice prije deset godina, dobit ćeš ono što i zaslužuješ: prosječnost.

I zato mi je ova vijest zapravo dobra. Ne zato što će riješiti sve probleme, nego zato što će natjerati industriju da se suoči s realnošću. Više nema skrivanja iza softverskih trikova. Sad moraš pokazati da tvoj hardver može podnijeti teret. I to će odvojiti ozbiljne igrače od onih koji su samo došli na kratku vožnju.

Ako si mislio da je AI revolucija gotova, čeka te iznenađenje. Tek počinje, i ovaj put će biti manje blještavila, a više znoja. Manje keynoteova, više laboratorija. Manje buzzwordova, više inženjeringa. I to je, vjerovali ili ne, dobra vijest za sve koji su umorni od priča o "revoluciji" koja se stalno odgađa.

Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim.

Izvor: spectrum.ieee.org