AgentCo-op: multi-agent workflow koji neće raditi

Znanstveni radovi o multi-agent sustavima su kao najave novog iPhonea — svake godine izađe desetak, obećavaju revoluciju, a na kraju dobiješ malo bolju kameru i bateriju koja traje pet minuta duže. Ovdje je riječ o AgentCoop-u, frameworku koji navodno rješava problem interoperabilnosti između agenata kroz "typed artifact handoffs" i "bounded self-guided local repair". Zvuči pametno, zvuči kao da netko zna što radi. A onda pogledaš malo bolje i vidiš taj problem koji muči svaki multi-agent sustav od kad postoje: agenti su gluvi, slijepi i govore različitim jezicima, a ti ih pokušavaš natjerati da zajedno slože IKEU ormarić.

Problem je fundamentalan i nije ga moguće riješiti pukim inženjeringom. Kad imaš dva agenta koja trebaju surađivati, svaki od njih donosi svoju povijest treninga, svoje inherentne bias-e i svoje limitacije. Jedan je treniran na Redditu, drugi na znanstvenim radovima. Prvi će ti ponuditi rješenje koje uključuje crypto i odlazak u teretanu, drugi će ti napisati disertaciju o tome zašto to nije moguće. I sad ti treba treći agent koji će pomiriti ta dva pogleda na svijet, što je otprilike jednako teško kao natjerati navijače Rijeke i Hajduka da zajedno pjevaju "Mi smo djeca s mora".

Retrieval-based synthesis framework zvuči kao rješenje, ali je zapravo samo fancy način da kažeš "idemo potražiti u bazi znanja što su drugi ljudi već smislili". To je kao da na poslu, umjesto da riješiš problem, odeš pitati kolegu koji je to već radio. Ponekad funkcionira, ali češće dobiješ rješenje koje je bilo dobro za nešto drugo, u nekom drugom kontekstu, s nekim drugim podacima. I sad ti agenti pokušavaju složiti workflow koristeći tuđe recepte, a svaki recept pretpostavlja da su sastojci dostupni i da kuhar zna što radi. U stvarnom svijetu, sastojci su istekli, kuhar je na bolovanju, a pećnica ne radi.

Najveći problem multi-agent sustava nije tehnološki nego organizacijski. Ljudi koji grade te sustave često nikad nisu radili u timovima gdje ljudi stvarno surađuju. Nisu iskusili onaj trenutak kad šef kaže "samo se dogovorite" i ostavi te u sobi s likom koji misli da je waterfall metodologija jedini ispravan način rada. To nije problem koji će riješiti typed artifact handoffs. To je problem ljudske prirode preslikan na strojeve koji su još gluplji i tvrdoglaviji od nas.

AgentCo-op pokušava riješiti problem kroz kompoziciju reusable skillova i alata, što je pametno ali nedovoljno. Svaki skill je napisan za specifičan kontekst, specifične podatke i specifične outpute. Kad pokušaš spojiti skill za parsiranje PDF-a sa skillom za generiranje koda, dobiješ onaj taj problem koji imaš kad pokušaš spojiti USB-C kabel s Lightning portom — fizički možeš, ali ništa ne radi. I sad ti treba bounded self-guided local repair, što je fancy način da kažeš "pokušat ćemo popraviti stvar dok nešto ne pukne".

Znanstveni radovi o multi-agent sustavima su postali svojevrsna industrija. Izlaze u tisućama, citiraju jedni druge, grade na idejama koje su već pokopane, i nikad ne priznaju da je osnovni problem nerešiv. Kao da netko piše radove o perpetuum mobileu, svaki put dodajući novi zupčanik i misleći da će ovaj put upaliti. AgentCo-op je vjerojatno napravljen od strane pametnih ljudi koji su pročitali sve relevantne radove i misle da su našli rupu u sustavu. Nisu. Rupa je u samom konceptu multi-agent suradnje.

Pogledajmo što se događa u praksi. Svaki veći cloud provider ima svoj multi-agent framework. Amazon ima Bedrock, Google ima Vertex AI, Microsoft ima Copilot. Svi rade otprilike istu stvar: uzmu jedan veliki model, isjeku ga na manje komade, daju svakom komadu specifičnu ulogu, i onda ih pokušaju natjerati da surađuju. Rezultat je uvijek taj: agenti se zaglave u petlji, generiraju besmislene outpute, ili jednostavno odustanu i vrate error. Nije stvar u implementaciji, stvar je u arhitekturi.

Multi-agent sustavi su poput orkestra bez dirigenta. Svaki glazbenik zna svoju dionicu, ali bez nekoga tko koordinira tempo i dinamiku, dobiješ kakofoniju. AgentCo-op pokušava biti taj dirigent, ali je i sam agent, sa svojim limitacijama i biasima. Tko dirigira dirigentom? To je rekurzivni problem koji vodi u beskonačni regres, a bounded self-guided local repair je samo pokušaj da se taj regres zaustavi prije nego što sustav eksplodira.

Ima tu i dublji problem. Multi-agent sustavi su često rješenje u potrazi za problemom. Netko je pročitao da agenti rade, pa ih je odlučio nabacati na svaki problem, bez obzira je li to potrebno. Treba ti jednostavan API koji vraća podatke? Napravit ćemo multi-agent workflow s pet agenata, svaki sa svojom specijalizacijom, i naravno da će sve biti sporije, skuplje i manje pouzdano nego da si samo napisao jednu funkciju. Ali zvuči pametno na pitch decku.

AgentCo-op je vjerojatno dobar akademski rad. Ima sve što jedan dobar rad treba: jasno definiran problem, elegantno rješenje, eksperimentalne rezultate. Problem je što akademski radovi i stvarni svijet rijetko koegzistiraju. U akademskom svijetu, podaci su čisti, eksperimenti su ponovljivi, a agenti rade ono što im kažeš. U stvarnom svijetu, podaci su prljavi, eksperimenti su neponovljivi, a agenti rade nešto sasvim treće jer su trenirani na podacima koji nemaju veze s tvojim problemom.

Jedina stvar koja bi mogla spasiti multi-agent sustave je potpuno drugačiji pristup. Umjesto da pokušavamo natjerati agente da surađuju, trebali bismo ih natjerati da se natječu. Daj svakom agentu taj problem, neka ga rješava na svoj način, i onda neka glasaju koje je rješenje najbolje. To je kao da umjesto timskog rada uvedeš unutarnje tržište ideja. AgentCo-op to ne radi, i vjerojatno neće, jer je to teže objasniti u radu i zahtijeva potpuno drugačiju arhitekturu.

Multi-agent sustavi su budućnost koja nikako da stigne. Svake godine izađe novi rad koji obećava rješenje, svake godine se ispostavi da rješenje ne radi na stvarnim problemima. AgentCo-op nije iznimka. Dobar je, pametan, elegantan. I neće raditi. Jer problem nije u tome kako spojiti agente, nego u tome što agenti uopće ne bi trebali surađivati. Trebali bi se natjecati, a pobjednik neka uzme sve. To je jedini način da dobiješ nešto korisno iz ovog cirkusa.

Izvor: arxiv.org