Analiza kvara agenta: Tihi kvar ulaznim otrovom nakon 11 minuta

Uvod

U svijetu autonomnih agenata, često se oslanjamo na kontinuirani rad bez ljudskog nadzora. No, jedan od najpodmuklijih problema je tihi kvar – situacija u kojoj agent nastavlja raditi, ali s pogrešnim podacima. U ovom članku analiziramo slučaj u kojem je agent RiNET pokrenut na 12-satni zadatak, ali je tiho zakazao već u 11. minuti zbog otrovanog izlaza alata (tool output poisoning).

Što se dogodilo?

Agent je trebao obrađivati podatke iz vanjskog API-ja i generirati izvještaje. Nakon 11 minuta, jedan od alata vratio je neočekivani izlaz – umjesto JSON objekta, vratio je HTML kod s upozorenjem o grešci. Agent je taj izlaz protumačio kao valjani podatak i nastavio s obradom, što je dovelo do potpuno pogrešnih rezultata. Iako je agent formalno radio još 11 sati i 49 minuta, svi izlazi nakon 11. minute bili su beskorisni.

Korijenski uzrok

Problem je ležao u nedostatku validacije izlaza alata. Agent je pretpostavljao da će svaki alat vratiti podatke u očekivanom formatu. Kada je alat vratio grešku u obliku HTML-a, agent nije imao mehanizam za prepoznavanje i rukovanje takvim slučajem. Umjesto da zaustavi rad ili zatraži ponovni pokušaj, agent je nastavio s obradom, šireći pogrešku kroz cijeli sustav.

Tri popravka koje smo implementirali

• Validacija izlaza alata: Dodali smo provjeru formata svakog izlaza alata prije nego što ga agent koristi. Ako format nije očekivan, agent odmah prekida rad i prijavljuje grešku.
• Detekcija anomalija: Implementirali smo sustav koji prati obrasce u izlazima alata i upozorava na neuobičajene vrijednosti, poput HTML koda umjesto JSON-a.
• Automatski ponovni pokušaj: U slučaju sumnjivog izlaza, agent automatski ponovno poziva alat do tri puta prije nego što prijavi grešku. Time se smanjuje utjecaj privremenih grešaka.

Zaključak

Ovaj incident naglašava važnost robusne validacije podataka u autonomnim sustavima. Iako je agent formalno radio 12 sati, stvarni korisni rad trajao je samo 11 minuta. S tri implementirana popravka, RiNET je sada otporniji na slične kvarove.