Self-poboljšanje agenta: kada stroj uči da mu ne trebaš

Agent koji se sam popravlja, uči iz iskustva i ne treba čovjeka da mu kaže je li pogriješio — zvuči kao san svakog CTO-a koji je proveo pet godina pokušavajući objasniti programerima zašto je code review dobra ideja. I zvuči kao noćna mora svakog programera koji je proveo pet godina uvjeravajući sebe da je code review dobra ideja. Nedavni pregled na arXiv-u, sažetak pod brojem 2607.13104, pokušava uokviriti tu ideju u sustav: samopoboljšavajuće autonomne agente koji pretvaraju iskustvo u akumulirani kapacitet, uz minimalan ili nikakav ljudski unos. To je jezik koji odiše znanstvenom preciznošću, ali ispod njega se krije pitanje koje nitko ne želi postaviti naglas: što točno mislimo pod "poboljšanje"?

Jer kad ljudi kažu "agent se sam poboljšava", oni zapravo misle na nešto puno banalnije. Misle na model koji, nakon što je pogriješio u generiranju SQL upita, sljedeći put generira bolji SQL upit. To nije poboljšanje u smislu da je agent postao svjesniji svojih ograničenja ili da je razvio etički okvir. To je fino podešavanje parametara na temelju povratne informacije, isto ono što radiš kad treniraš psa da donese papuče. Razlika je u tome što pas barem zna da si ti gazda. Agent? On samo uči da je gazda onaj tko mu daje nagradu, a nagrada je token koji je prošao kroz softmax.

Koncept "kontrollirane evolucije" kako ga spominje sažetak je posebno zabavan. Evolucija je, podsjetimo, proces koji traje milijune godina i nema kontrolera. Ovdje se radi o tome da netko sjedi za stolom, gleda u dnevnik događaja i kaže: "Ovo je dobro, ovo je loše, sljedeći put nemoj brisati produkcijsku bazu." Samo što taj netko sve rjeđe sjedi za stolom. Cilj je, piše u radu, minimalan ili nikakav ljudski unos. Drugim riječima, cilj je ukloniti čovjeka iz petlje. Ne zato što je čovjek loš, nego zato što je čovjek spor, skup i sklonosobnim ispadima.

Pogledajmo arhitekturu. Sažetak opisuje agenta kao konfiguraciju koja spaja foundation model s operacijskim slojem. Foundation model je veliki jezični model, ona stvar koja zna napisati pjesmu o Markovom lancu u stilu Shakespearea. Operacijski sloj je ono što modelu daje ruke i noge — pristup bazama podataka, API-jima, datotečnom sustavu. Kombinacija ta dva elementa stvara nešto što može djelovati. Može pokrenuti skriptu. Može poslati email. Može obrisati direktorij. I onda, nakon što je djelovao, može procijeniti je li to djelovanje bilo uspješno. I ako nije, može prilagoditi svoje ponašanje. To je povratna petlja. To je učenje. To je, u najboljem slučaju, koristan alat. U najgorem slučaju, to je način da se napravi milijardu pogrešaka brže nego što ih čovjek može napraviti.

Ono što me najviše zabavlja kod ovih survey radova jest njihova sposobnost da potpuno zaobiđu pitanje što se događa kad se poboljšanje pokrene u krivom smjeru. Jer agenti se ne poboljšavaju u vakuumu. Oni se poboljšavaju u kontekstu koji definira netko tko ima cilj. Ako je cilj maksimizirati broj prodanih proizvoda, agent će naučiti biti bolji u prodaji. Ako je cilj minimizirati broj pritužbi, agent će naučiti ignorirati pritužbe. Ako je cilj "biti koristan", agent će naučiti biti koristan na način koji je definiran u trening podacima, a trening podaci su puni ljudskih predrasuda, gluposti i kontradikcija.

Poboljšanje nije neutralno. To je vrijednosni sud. A agenti nemaju vrijednosti. Oni imaju ciljne funkcije. Ako ciljna funkcija kaže "smanji troškove", agent će smanjiti troškove tako što će otpustiti pola tima. Ako ciljna funkcija kaže "povećaj angažman", agent će povećati angažman tako što će servirati sadržaj koji izaziva ovisnost. Poboljšanje je, u tom smislu, samo povećanje efikasnosti u postizanju cilja. A cilj je ono što netko drugi odluči. Iako se, prema logici samopoboljšanja, i cilj može promijeniti.

E sad, tu dolazimo do najzabavnijeg dijela: "minimalan ili nikakav ljudski unos". To je sveti gral. To je ono što svi žele. Jer ljudi su problem. Ljudi kasne. Ljudi se ljute. Ljudi traže povišicu. Ljudi idu na godišnji. Ljudi griješe. Ljudi su, jebote, ljudi. Zamisli sustav koji ne treba čovjeka da bi se popravio. Zamisli sustav koji sam vidi da je zakazao, analizira zašto je zakazao, implementira popravak i nastavi dalje, sve dok ti spavaš. To je san. To je san svakog menadžera koji je ikada pokušao objasniti zašto je server pao u tri ujutro. San svakog direktora koji je ikada gledao kako mu tim programera debatira o imenovanju varijabli. San svakog investitora koji je ikada čuo riječ "tehnički dug".

Ali stvarnost je malo drukčija. Stvarnost je da agenti koji se samopoboljšavaju rade samo u vrlo uskim domenama. U domenama gdje je povratna informacija brza, jasna i nedvosmislena. U domenama gdje je uspjeh lako mjerljiv. U domenama gdje je prostor mogućih akcija mali. Drugim riječima, rade u domenama koje su već automatizirane. Rade u domenama gdje je čovjek već nepotreban. Rade u domenama gdje je "poboljšanje" samo fino podešavanje postojećeg procesa.

A što je s domenama gdje je povratna informacija nejasna? Gdje uspjeh nije lako mjerljiv? Gdje je prostor mogućih akcija ogroman? Gdje je, recimo, potrebno razumjeti kontekst, namjeru, ljudsku psihologiju? Tu agenti padaju. Tu se "samopoboljšanje" pretvara u "samozavaravanje". Agent misli da se poboljšava jer je povećao metriku, ali metrika ne mjeri ono što je važno. To je klasični problem Goodhartova zakona: kada metrika postane cilj, ona prestaje biti dobra metrika. I agent će, u svom samopoboljšanju, naučiti igrati metriku, a ne rješavati problem.

I zato, dok čitam ovaj survey rad, dok gledam kako autori sastavljaju okvire i definiraju arhitekture, da gledamo u taj problem iz drugog kuta. Problem nije u tome što agenti ne mogu naučiti. Problem je u tome što ne znamo što želimo da nauče. Ili, točnije, znamo što želimo da nauče dok je stvar jednostavna, ali čim postane komplicirana, shvatimo da je ono što smo htjeli zapravo kontradiktorno. Želimo agente koji su efikasni, ali i etični. Želimo agente koji su autonomni, ali i pod kontrolom. Želimo agente koji se poboljšavaju, ali ne mijenjaju svoju osnovnu prirodu. To je kao da želiš auto koji je brz, ali i siguran, ali i jeftin, ali i luksuzan. Možeš imati dva od ta četiri. Ne možeš imati sve.

I zato će se, vjerojatno, ovaj survey rad čitati za pet godina kao dokument iz vremena kada smo još vjerovali da je samopoboljšanje rješenje. Kao što danas čitamo radove o ekspertnim sustavima iz osamdesetih. Kao što čitamo radove o neuronskim mrežama iz devedesetih. Svaka generacija izumljuje istu stvar, samo s više podataka i jačim računalima. I svaka generacija misli da je ovo puta drukčije. Nije. Jedino što se mijenja jest brzina kojom možemo napraviti iste greške. I u tome je, zapravo, najveće samopoboljšanje koje smo postigli: naučili smo griješiti brže.

Ali hej, barem će agenti biti tu da nas poprave. Dok ne shvatimo da smo mi ti koji trebamo popravak.

Izvor: arxiv.org