ANNEAL: Kako popraviti greške LLM agenata kroz simboličko učenje

Četrdeset posto LLM agenata griješi, a oni koji bi trebali biti pametni ponavljaju iste greške kao i prošle godine — koji kurac, zar nije to fascinantno? Čini se da se u svijetu umjetne inteligencije, gdje se sve vrti oko učenja i prilagodbe, zaboravilo na osnovno: popraviti ono što je pokvareno. Umjesto da se suoče s pravim uzrocima grešaka, razvija se nova magla u obliku simboličkog učenja, kao da ćemo time reparirati svijet. Što to zapravo znači? Znači da umjesto da rješava problem, AI postaje još jedan posrednik u beskrajnim petljama ispravljanja samog sebe.

Simboličko učenje, ili kako ga neki nazivaju "governed symbolic patch learning", je ideja koja bi trebala omogućiti agentima da prepoznaju i isprave svoje greške. Izgleda dobro na papiru, ali u praksi? Pa, to je kao da pokušavate zakrpati rupu u čamcu dok plovite po uzburkanom moru — što god učinili, voda će naći način da se probije. Umjesto da se usredotočimo na duboke uzroke problema, kao što su operatori i preduvjeti, mi se bavimo simboličkim rikvercima i nadamo se najboljem.

U ovom ludilu, gdje svaki agent pokušava učiti iz svojih pogrešaka, zaboravlja se da je pravi problem često u strukturi samih zadataka. Umjesto da se posvetimo tome kako su ti zadaci postavljeni, mi se igramo s promptovima i težinama modela, kao da će to magično riješiti sve. I naravno, nitko ne želi priznati da su svi ti sustavi zapravo samo odraz naših vlastitih grešaka. Kada agenti ponavljaju iste pogrešne obrasce, to je kao da ponavljamo lošu pjesmu u beskrajnom loopu — svi znaju da je sranje, ali nitko ne prestaje slušati.

Danas se razvijaju razni pristupi koji obećavaju "samo-evoluciju" agenta, no nijedan od njih ne nudi pravu garanciju da će se ti agenti stvarno prilagoditi. Oni se zapravo više oslanjaju na improvizaciju nego na stvarno učenje. U tom kontekstu, dolazimo do ključnog pitanja: kako možemo garantirati da će agenti ne samo učiti, nego i popraviti svoje osnovne strukture? Čini se da se to pitanje gubi u buci modernog marketinga i besmislenih akronima.

Na kraju, razvijamo kompleksne sustave koji se bore s jednostavnim greškama. U tranziciji od dubokog učenja do simboličkog učenja, gubimo iz vida suštinu — učenje ne bi smjelo biti samo o adaptaciji na greške, već i o njihovom ispravljanju. To je kao da pokušavate riješiti matematički problem bez da razumijete osnovne operacije. Ako ne popravite temeljne greške, svaka nova iteracija će biti samo još jedan pokušaj da zakrpate ono što nikada nije bilo dobro postavljeno.

U svijetu gdje se umjetna inteligencija razvija brzinom svjetlosti, važno je da se ne zaboravi na temeljne lekcije. Umjesto da se fokusiramo na površinske promjene, vrijeme je da se suočimo s pravim izazovima. Ako se nastavimo kretati prema ovom simboličkom učenju bez pravog razmišljanja o strukturi, završit ćemo s AI agentima koji su pametni kao trokut — i podjednako beskorisni.

Izvor: arxiv.org