Deset i devet desetinki boda

Pitaj bilo kojeg takvog agenta da napiše samostalni Python skript koji parsira jedan JSON i dobit ćeš savršen odgovor u sekundi. Pitaj ga da napravi sustav koji ingerira tisuće neurednih dokumenata, čunka tekst, ocjenjuje kvalitetu i filtrira šum za Retrieval-Augmented Generation sustav koji odgovara tvom specifičnom enterprise stacku — i agent se raspadne kao kolačić u mlijeku. To nije greška u jednom modelu, to je sistemska karakteristika. Veliki jezični modeli su izvanredni u jednokratnoj generaciji koda, ali čim zadaća postane višestepena, s ovisnostima i povratnim petljama, njihova preciznost pada kao da su popili laksativ prije maratona.

Ono što je zanimljivo nije da su pali — to je bilo očekivano. Zanimljivo je da je netko napokon izmjerio taj pad i napravio alat koji ga pokušava zatvoriti. DataFlow-Harness, kako ga zovu, nije čarobni štapić niti novi model koji će riješiti sve probleme čovječanstva. To je struktura, disciplina, okvir koji sili agenta da razmišlja u koracima umjesto da pokušava riješiti sve odjednom. Drugim riječima, netko je napokon shvatio da AI agenti nisu problem — problem je što ih tretiramo kao da jesu.

Ako si ikad pokušao naučiti nekoga kuhati, znaš da je razlika između recepta i vještine upravo u tome što recept možeš pročitati u minuti, ali vještina dolazi iz ponavljanja, iz grešaka, iz osjećaja. AI kodni agenti su odlični u čitanju recepata. Ali kad treba skuhati večeru za dvadeset ljudi s tri različite dijete, alergijama i jednim štednjakom koji se gasi svakih deset minuta — tu recept više nije dovoljan. Tu treba struktura, hijerarhija zadataka, povratna informacija iz svakog koraka. To je ono što DataFlow-Harness radi. I to je istovremeno najdosadnija i najvažnija stvar u cijeloj AI priči.

Jer evo što se događa u pozadini: dok veliki igrači prodaju viziju o superinteligenciji koja će riješiti sve, ljudi koji stvarno grade sustave znaju da je sadašnjost puno prozaičnija. Sadašnjost je puna neurednih CSV datoteka, PDF-ova koji su očito skenirani dok je netko tresao rukom, API-ja koji šalju podatke u formatu koji nije dokumentiran nigdje osim u headu bivšeg zaposlenika koji je dao otkaz prije tri godine. U toj stvarnosti, AI agent koji izgubi deset bodova na strukturiranim zadacima nije teoretski problem. To je razlika između sustava koji radi i sustava koji generira izgovore zašto ne radi.

I tu dolazi do ironije koja bi bila smiješna da nije tužna. Industrija je potrošila stotine milijardi dolara na modele koji su sve veći, sve skuplji i sve bolji u generiranju teksta koji zvuči uvjerljivo. Ali kad treba napraviti nešto korisno — nešto što će se integrirati u postojeći sustav, poštivati poslovna pravila i ne srušiti se u produkciji — odjednom se ispostavlja da je disciplina važnija od briljantnosti. Struktura važnija od sirove snage. Proces važniji od inspiracije.

Ispostavilo se da je najveća laž u cijeloj toj priči bila ona o "kraju programiranja". Programiranje nije mrtvo, samo se preselilo. Umjesto da pišeš kod direktno, ti sada pišeš strukturu unutar koje kod nastaje. Umjesto da razmišljaš o tome kako će funkcija izgledati, razmišljaš o tome kako će agent doći do rješenja. To je kao razlika između sviranja klavira i dirigiranja orkestrom. Oba su teška, ali na različite načine. I jedno i drugo zahtijevaju godine prakse, ali dok pijanist mora kontrolirati svaki ton, dirigent mora kontrolirati svakog glazbenika koji kontrolira svoj ton. Više razina apstrakcije, više mjesta gdje stvari mogu poći po zlu.

Brojka od 10,9 bodova nije velika. Ali nije ni mala. To je otprilike razlika između prolaza i pada na ispitu, između sustava koji se može pustiti u produkciju i onog koji će te probuditi u tri ujutro jer je netko nešto pokvario. I ono što je najvažnije, ta brojka pokazuje da problem nije u osnovnoj inteligenciji modela, nego u njihovoj sposobnosti da slijede proces. Ako to možeš popraviti strukturom, onda možda i nije problem inteligencije. Možda je problem lijenosti — naše, jer smo očekivali da će model sam skužiti što treba raditi bez da mu kažemo.

Sjeti se kako je izgledalo kad si prvi put pokušao naučiti nekoga raditi tvoj posao. Da, mogao si mu dati popis zadataka. Ali ako nisi objasnio zašto se zadaci rade tim redoslijedom, koje su ovisnosti među njima i što učiniti kad nešto ne štima, taj netko bi napravio sve krivo. AI agenti su ista priča, samo što su brži u pogreškama. I upravo zato je pristup poput DataFlow-Harnessa korak u pravom smjeru — jer tretira AI agenta kao što bi tretirao novog zaposlenika: s procesom, s provjerama, s povratnom informacijom.

Ali nemojmo se zavaravati. Ovo nije rješenje problema, ovo je zakrpa. Pravo rješenje bi bilo modele koji inherentno razumiju strukturu zadataka bez da ih treba voditi za ruku. Dok to ne dođe, imamo dvije opcije: prihvatiti da su AI agenti korisni samo za jednostavne zadatke, ili izgraditi slojeve procesa koji kompenziraju njihove slabosti. Prva opcija je iskrena, ali neprodava. Druga je skuplja, ali radi. Pogodi koju će industrija izabrati.

I eto nas opet u istoj poziciji kao i svaki put u zadnjih trideset godina. Tehnologija koja je trebala ukinuti posao, zapravo stvara novi posao — posao upravljanja tehnologijom koja ne radi ono što je obećala. Nekad su to bili ERP sustavi, pa CRM, pa cloud migracije, pa DevOps. Sad su to AI agenti koji trebaju "harness" da bi bili korisni. Krug se nastavlja. Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim.

Ako je AI toliko pametan, zašto mu treba struktura da bi obavio posao koji bi svaki pripravnik s tri mjeseca iskustva odradio bez razmišljanja? Možda zato što inteligencija bez procesa nije inteligencija, nego kaos koji lijepo zvuči. I možda je upravo to lekcija koju trebamo naučiti — ne o AI-ju, nego o sebi. Mi nismo pametni jer znamo stvari. Pametni smo jer znamo kako ih posložiti. I ako to zaboravimo, ostat će nam samo modeli koji generiraju uvjerljive gluposti, i frameworkovi koji ih pokušavaju držati na okupu. Budućnost je stigla. Donijela je checklist.

Izvor: venturebeat.com