AI koji ne zna zbrojiti dva i dva

Sto osamdeset milijardi dolara teški model koji ne zna izračunati koliko je dvanaest posto od četiri tisuće, pa su mu inženjeri morali sagraditi pomoćni okvir s pravilima, tablicama i validacijom da ne bi posramio maturanta ekonomske škole. To je, ukratko, CIFQA — Calculation-Intensive Financial Query Answering — još jedan dokaz da smo industriju koja je trebala eliminirati ljudske greške doveli do točke gdje je najveće postignuće to što stroj neće reći da je stopostotni rast od dvadeset posto jednak dvjesto eura.

Čitam sažetak tog rada i osjećam se kao da gledam čovjeka koji je izumio točak, a onda mu trebalo pet godina da shvati da se može okretati više puta. LLM-ovi su fenomenalni u generiranju teksta, pisanju poezije o ljubavi na staroengleskom, simuliranju empatije koju nikad nisu osjetili — ali kad treba zbrojiti 1.234,56 i 987,44 eura, dobiješ rezultat koji je uvjerljiv, samouvjeren i potpuno pogrešan. Kao onaj kolega s faksa koji je svašta pričao, ali kad je došlo do računa u konobi, uvijek je u toaletu.

A sada dolazi šaljivi dio. Rješenje nije bolji model, veća količina podataka, dublje razumijevanje matematike. Rješenje je — pričekajte — alat koji modelu kaže da koristi kalkulator. Framework koji mu daje strukturirane formule, tablice stopa, vremenske uvjete i pravila validacije da bi provjerio vlastiti odgovor. Drugim riječima, najnaprednija tehnologija koju je čovječanstvo izgradilo mora se spustiti na razinu studenta koji smije koristiti džepno računalo na ispitu jer inače napiše da je kvadratni korijen od 144 jednak trinaest.

Cijela ta priča ima miris starog kvartovskog dilera koji je shvatio da kupci ne razumiju što prodaje, pa im je počeo prodavati i uslugu objašnjavanja. LLM-ovi su trebali biti rješenje. Sada su problem, a mi gradimo frameworke da bi problem postao manji problem. Enterprise kupci plaćaju milijune za sustave koji bi trebali zamijeniti knjigovođe, a ispada da tim sustavima treba dadilja koja im drži ručicu dok broje do deset.

Pogledajmo što CIFQA zapravo radi. Uzima LLM i daje mu hodač — strukturirane alate, pravila zaključivanja, provjeru koraka. Model više ne mora računati, mora samo znati koji alat pozvati za koju operaciju. Kao da vašem pametnom asistentu date popis uputa: za zbrajanje koristi kalkulator, za množenje koristi tablicu, za kamatu koristi formulu. I onda to nazovete napretkom. Koji kurac.

Ono što je posebno zabrinjavajuće je tiho priznanje u svakom retku tog rada: modeli ne razumiju brojeve. Generiraju ih. A generirani broj koji izgleda uvjerljivo gori je od broja koji je očito pogrešan, jer potonji barem budi sumnju. Ovako dobiješ financijski izvještaj koji je glatko napisan, gramatički besprijekoran i matematički izmišljen. I netko taj izvještaj odnese upravi, koja na temelju njega donese odluku vrijednu pola godine budžeta.

Sjećam se devedesetih, kad sam postavljao prve servere za Kvarner Net, pa sam morao ručno verificirati svaki paket podataka koji je išao kroz mrežu. Bilo je sporo, bilo je dosadno, ali nitko nije umro jer je checksum bio kriv. Danas imamo modele s trilijunima parametara koji generiraju odgovore brzinom svjetlosti, a ipak im treba poseban okvir da bi znali da je 15 posto od 200 jednako 30. I to zovemo inteligencijom. To je kao da slavite što vam auto vozi — a onda shvatite da ste mu morali dodati volan jer inače ide pravo u zid.

Financijska industrija je, naravno, već ušla u taj vlak. Banke, osiguravajuće kuće, investicijski fondovi — svi trpaju LLM-ove u svoje procese jer je to moderno, jer to radi konkurencija, jer investitori pitaju za AI strategiju. A onda im trebaju ovakvi frameworki da spriječe katastrofu. I svaki taj framework je priznanje da temeljni proizvod ne radi ono što obećava. Nije li onda pametnije priznati da LLM nije alat za financijske izračune, nego ga koristiti za ono u čemu je dobar — generiranje teksta, sažimanje, analizu sentimenta — a brojke ostaviti specijaliziranim sustavima koji su to radili zadnjih četrdeset godina?

Ne, naravno. To bi bilo previše jednostavno. Industrija mora prodati priču da je sve jedno, da je LLM univerzalno rješenje, da će zamijeniti sve alate koje smo izgradili. A onda se gradi još jedan alat koji popravlja greške onoga što je trebalo zamijeniti alate. To je kao da srušite most jer vam se ne sviđa boja, pa sagradite novi koji se sruši, pa onda sagradite potporanj za srušeni most. I svi plješću inženjeru potpornja.

Ono što nitko ne spominje u tim radovima je trošak. Ne govorim o cijeni GPU-ova, iako je i to suludo. Govorim o kognitivnom trošku povjerenja. Kad sustav jednom pogriješi na način koji je uvjerljiv, korisnik gubi povjerenje u sve što sustav kaže. A povjerenje u financijama nije stvar udobnosti, to je stvar opstanka. Ljudi ne pitaju banku "jeste li sigurni" iz ljubaznosti — pitaju jer su već jednom ostali bez ušteđevine zbog "sitne greške".

A najljepši dio cijele priče: svaki od tih frameworka, svaka ta sigurnosna mreža, svaki taj validacijski sloj — sve to pišu ljudi. taj oni ljudi koje LLM-ovi trebaju zamijeniti. taj oni ljudi koji prave greške, koji imaju loše dane, koji propuste rokove. Dakle, sustav koji bi trebao eliminirati ljudsku grešku ne može funkcionirati bez ljudske intervencije koja ispravlja njegove greške. To nije napredak, to je cirkus u kojem smo svi plaćeni da gledamo kako se klovn spotiče o vlastite cipele.

I dok se to događa, netko prodaje priču o superinteligenciji koja će riješiti sve naše probleme. A mi ne možemo natjerati model da točno izračuna mjesečnu ratu kredita bez da mu damo švicarski nož s formulama, pravilima i kontrolnim mehanizmima. Možda bi netko trebao napisati framework koji LLM-u objašnjava da ne treba glumiti da zna sve — da je u redu reći "ne znam" ili "trebam kalkulator". Ali to vjerojatno ne bi prošlo peer review. Nije dovoljno inovativno.

Ako je umjetna inteligencija budućnost financija, onda je ta budućnost stigla s hodalicom, naočalama i džepnim kalkulatorom iz sedamdesetih. I sve to plaćamo pretplatom.

Izvor: arxiv.org