METR-ov expenditure horizon: kad AI postane skuplji od čovjeka

Četrdeset tisuća dolara po zadatku je brojka koja bi u normalnom svijetu značila da si zaposlio lošeg konzultanta, ali u svijetu AI agenata to je cijena koju si spreman platiti za iluziju uštede. METR je izbacio metriku koju su nazvali "expenditure horizon" — zvuči kao naziv za novi James Bond film, a zapravo je pokušaj da se precizno izračuna trenutak kad ti je isplativije platiti čovjeka nego stroj. Rezultati su, blago rečeno, deprimirajući za industriju koja je prodala priču o jeftinoj radnoj snazi bez ručka i bez bolovanja.

Na NanoGPT speedrunu, prvom ozbiljnom testu, AI agenti su se pokazali otprilike jednako efikasno kao što bi se ja pokazao da me natjeraju da vozim taksi u Rijeci — tehnički mogu, ali pitanje je isplati li se ikome. Troškovi su brzo premašili ljudske, a performanse su ostale na razini studenta koji je prespavao ispit i sad pokušava nadoknaditi sve u zadnja tri sata. Nije drago. Nije slučajno. Nije greška. To je priroda problema koji industrija nije htjela priznati.

Jer evo u čemu je stvar: AI agenti su sjajni u ponavljanju istog zadatka milijun puta bez greške, ali čim trebaju donijeti odluku koja nije u njihovom trening setu, počinju se ponašati kao sredovječni programer koji je otkrio Stack Overflow i misli da je bog. Daju odgovor koji zvuči uvjerljivo, izgleda profesionalno, ali je potpuno beskoristan ako ga staviš u kontekst stvarnog svijeta. I to naplaćuju po tokenu. Koji kurac.

METR-ova metrika ima nekoliko rupa kroz koje bi mogao provući cijeli data centar. Prvo, uzima u obzir samo direktne troškove računanja, ne i infrastrukturu, održavanje i ljudski nadzor koji je i dalje potreban. To je kao da računaš cijenu automobila samo po cijeni goriva i zaboraviš na registraciju, osiguranje, servis i kazne za parking. Drugo, metrika pretpostavlja da su svi zadaci jednako pogodni za automatizaciju, što je isto kao da pretpostaviš da je svaka juha ista jer sve ima vodu. Treće, i najvažnije, potpuno ignorira kvalitetu outputa — ako AI agent napiše kod koji radi ali ga niko ne razumije, jesi li stvarno uštedio?

Industrija je prodala priču da će AI agenti zamijeniti ljude u roku od pet godina, što je taj rok koji su davali za autonomna vozila, kvantna računala i fuzijsku energiju. Sjećam se kad su 1998. godine ljudi pričali da će internet ukinuti novine do 2003. godine. Novine su mrtve, ali na drugačiji način i iz drugih razloga, a AI agenti će vjerojatno doživjeti istu sudbinu — bit će korisni, ali neće biti revolucija koju su prodavali. Problem je što su investitori već platili za revoluciju, a dobili su evoluciju s pretplatom.

Ako pogledaš strukturu troškova, shvatiš zašto su velike kompanije toliko opsjednute AI agentima. Nije zato što su jeftiniji, nego zato što su predvidljiviji. Čovjek može tražiti povišicu, otići na bolovanje, doći mamuran ili jednostavno reći "jebiga, danas mi se ne da". AI agent će raditi 24/7, neće tražiti godišnji i neće osnovati sindikat. Ali će zato koštati više nego što priznaju, zahtijevati konstantno održavanje i povremeno proizvesti potpunu besmislicu koju će netko morati popravljati. To je trade-off koji rijetko tko spominje u pitch deckovima.

Najbolji dio METR-ove metrike je taj što je potpuno ignoriraju kompanije koje prodaju AI agente. One i dalje tvrde da je njihov proizvod najjeftiniji, najbrži i najpametniji, a kad ih pitaš za brojke, dobiješ odgovor koji zvuči kao da ga je napisao AI — uvjerljivo, ali bez konkretnih podataka. U međuvremenu, stvarni korisnici otkrivaju da im je za jedan zadatak koji bi čovjek riješio za sat vremena potrebno tri sata debugiranja, dva sata prompt inženjeringa i jedan sat molitve da model ne halucinira. I to se zove produktivnost.

Postoji i dublji problem koji metrika ne može uhvatiti. AI agenti su dobri u zadacima koji su već dobro definirani i dokumentirani. Ali stvarni svijet je pun zadataka koji su loše definirani, nedokumentirani i pune se iznimaka koje niko nije predvidio. To je razlog zašto su programeri i dalje potrebni, zašto su menadžeri i dalje potrebni i zašto će ljudi i dalje biti potrebni. AI agenti mogu napisati kod, ali ne mogu shvatiti zašto klijent zapravo želi taj kod, što je često važnije od samog koda.

I tako smo došli do točke u kojoj industrija koja je obećala da će sve biti jeftinije i brže sad izmišlja metrike koje će dokazati da je zapravo skuplje, ali da je to OK jer je budućnost. To je kao da ti automehaničar kaže da ti je auto skuplji za održavanje nego da kupiš novi, ali da je to u redu jer ćeš se voziti u budućnosti. Samo što budućnost nikad ne stiže, a račun stigne svaki mjesec. Budućnost je stigla. Donijela je račun.

Izvor: the-decoder.com