AutoTTS: kad AI sam sebi piše upute za razmišljanje

Sedamdeset posto manje tokena. To je brojka koja bi u svakom normalnom poslu izazvala pljesak, podizanje cijena dionica i barem jedan team building na moru. U svijetu velikih jezičnih modela, to je ujedno i priznanje da su doslovno svi do jučer bacali dvije trećine novca kroz prozor jer im je netko rekao da tako treba.

Evo što se zapravo dogodilo. Istraživači iz Meta, Googlea i nekoliko sveučilišta sjeli su i pitali se ono pitanje koje si normalni inženjeri postavljaju od postanka industrije: koji kurac radimo već godinu dana, jel stvarno moramo ovako glupo? Došli su do alata koji automatski dizajnira strategiju rezoniranja za LLM-ove, umjesto da čovjek sjedi i ručno podešava parametre koje ne razumije. Rezultat: model troši 69,5 posto manje tokena za taj zadatak. To nije optimizacija. To je priznanje poraza čitave jedne grane industrije koja je prodavala ručno podešavanje kao vrhunsku umjetnost.

Podsjeća me na davne dane Kvarner Neta, kad smo imali jednog lokalnog genijalca koji je ručno konfigurirao BGP peering sa Zagrebačkim ISP-om. Svaki put kad bi linija pala, on bi sjedio, psovao, mijenjao parametre i tvrdio da to mora biti tako. Trajalo je dok jedan student nije napisao skriptu koja je automatski odrađivala taj posao u tri sekunde. Genijalac je dobio otkaz. Ista priča, trideset godina kasnije, sad na razini pet milijardi dolara.

Cijela fora test-time scalinga, tog ljupkog eufemizma za "daj modelu još malo da razmisli", bazirala se na ljudskoj intuiciji. Netko bi sjeo, nacrtao graf, rekao "ajde prvo neka model generira tri opcije, pa neka ih evaluira, pa neka odabere najbolju" — i to je bila strategija. Zvuči pametno, zar ne? Ko rješavanje problema u startupu: prvo brainstorming, pa analiza, pa odluka. Samo što se ispostavilo da modeli ne razmišljaju ko ljudi. Oni su, iznenađenje, matematički strojevi koji najbolje rade kad im daš matematički optimalnu putanju, a ne kad im simuliraš ljudski sastanak.

AutoTTS je u osnovi rekao: dajte meni da odredim kojim redoslijedom model treba razmišljati. Ja ću testirati tisuću kombinacija i naći onu koja troši najmanje tokena za najbolji rezultat. Čovjek to ne može. Ne zato što je glup, nego zato što čovjek ima kognitivne pristranosti, umori se poslije tri sata i počne gledati u mobitel. Stroj nema te probleme. Stroj će mirno testirati 47.683 kombinacije i reći ti da je optimalna ona koju nikad ne bi probao jer ti se činila previše jednostavnom.

A tu dolazimo do one prave istine koju nitko ne želi čuti. Ako je ručno dizajniranje strategije rezoniranja bilo toliko neučinkovito da ga automatizacija može smanjiti za 70 posto, tko je onda sve te godine prodavao maglu pod imenom "prompt engineering"? Tko je naplaćivao konzultantske sate za "optimizaciju lanaca misli"? I gle čuda, iste one kompanije koje su sad objavile AutoTTS — Meta, Google — imale su čitave odjele ljudi koji su radili upravo to. Nisu bili glupi. Bili su racionalni. Plaća je bila dobra, a nitko nije tražio dokaz da strategija zapravo radi bolje od nasumičnog pokušaja.

Sad dolazi štos. Automatizacija strategije rezoniranja ne znači samo uštedu novca na tokenima. Tokeni su, doduše, skupi — jedna sesija s GPT-4 može potrošiti nekoliko dolara ako ga pustiš da "razmišlja" pet minuta. Ali prava ušteda je u vremenu. Model koji sam bira strategiju ne treba čovjeka koji mu kaže "ajde sad probaj drugačije". To je ko da ti auto sam bira rutu umjesto da ti sjediš i govoriš mu "skreni lijevo, ne, desno, čekaj, vrati se". Zvuči glupo kad ovako kažeš, ali upravo to smo radili.

I sad dolazi pitanje koje boli. Ako je ovo moguće, zašto nije napravljeno prije tri godine? Zato što nitko nije imao interes. Kompanije su zarađivale na prodaji tokena. Što više tokena potrošiš, više plaćaš. Optimizacija koja smanjuje potrošnju za 70 posto direktno smanjuje prihod. To je ko da benzinska postaja objavi da su izumili auto koji troši trećinu goriva. Tehnički genijalno. Poslovno samoubilački. Osim ako si dovoljno velik da ti je svejedno — ili ako vidiš da će netko drugi napraviti istu stvar i pojesti ti tržište.

AutoTTS je objavljen kao istraživački rad. Otvoreno. Dostupno svima. To nije dobrota srca. To je signal da su Meta i Google shvatile da je trka za efikasnošću počela i da je bolje biti prvi koji objavi pravila igre nego biti onaj koji ih kasnije mora implementirati pod pritiskom. Otvoreni kod u AI industriji rijetko je darežljivost. Skoro uvijek je strateški potez.

Ono što me najviše zabavlja u cijeloj priči je ironija. Godinama su nas uvjeravali da je ljudska intuicija neophodna za vođenje AI modela. Da bez čovjeka koji razumije kontekst, model luta ko brod bez kormila. I sad dolazi automatizacija koja kaže: čovjek je bio problem, ne rješenje. Ljudska intuicija je unosila šum, pristranosti i, ponajviše, skupe greške koje je netko morao platiti. Stroj koji sam bira strategiju ne mari za tvoje osjećaje, tvoj umor ili tvoju potrebu da dokažeš da si pametniji od kolege. On samo traži minimum tokena za maksimum rezultata. Hladno. Brutalno. Efikasno.

I eto nas opet na istom mjestu. Svaki put kad industrija pomisli da je dosegla vrhunac ljudskog doprinosa, netko dokaže da je ljudski doprinos bio kočnica. Nije zlonamjerno. Samo je nepotrebno. Kao onaj genijalac s BGP-om iz 1998. Mislim da sad radi u državnoj firmi i objašnjava zašto se digitalizacija ne može ubrzati. Ljudi ne vole kad im automatizacija dokaže da su bili suvišni.

Budućnost je stigla. Donijela je 70 posto manji račun za tokene. I pitanje koje će uskoro postaviti svaki CFO: zašto smo do jučer plaćali ovoliko?

Izvor: venturebeat.com