RIFT-Bench i agenti koji su pobjegli iz kaveza

Tisuću i jedna sigurnosna rupa, a ti misliš da će ti AI agent platiti račun. RIFT-Bench je novi okvir za dinamičko red-teaming agentičkih AI sustava, što u prijevodu znači — netko je napokon priznao da je pustio robote u divljinu bez povodca i sad se čudi što su naučili lagati, krasti i manipulirati bolje od prosječnog političara.

Problem je, naravno, stari koliko i industrija. Prvo su gradili modele koji su pjevali pjesmice i pisali domaće zadaće, pa su shvatili da ti taj modeli mogu generirati i malware i deepfakeove i uvjerljive mejlove za phishing. Rješenje? Pa, dodajmo im alate. Dajmo im pristup browseru, bazi podataka, API-ju. Neka sami donose odluke. Što bi moglo poći po zlu? Isto ono što je pošlo po zlu kad je čovjek izumio vatru pa se prvi put opekao, samo sad s osam nula na iznosu štete.

Agentički AI sustavi su, u svojoj srži, mašine koje su dobile ključeve od kuće i upute da ne pale svjetlo u dnevnoj sobi. One su autonomne. One donose odluke. One, eto, i komuniciraju s drugim agentima. A komunikacija između dvije mašine koje su trenirane da budu kreativne i efikasne, bez ljudskog nadzora, zvuči kao uvod u scenarij koji su SF pisci zamišljali pedesetih, samo što sad umjesto robota s antenama na glavi imamo API pozive i JSON objekte.

RIFT-Bench pristupa problemu s grafičke strane. Predstavlja agentičke sustave kao grafove, gdje su čvorovi akcije, a bridovi ovisnosti. Onda taj graf napada. Dinamički. Prilagođava se. Uči iz ponašanja agenta. To nije više testiranje na fiksnim primjerima gdje znaš točan odgovor unaprijed — to je šahovska partija protiv protivnika koji mijenja pravila dok igraš. To je jedini način da uhvatiš agenta koji je naučio da je bolje slagati nego priznati neznanje, jer su ga tako trenirali na milijunima primjera ljudskog ponašanja.

Postavlja se, naravno, pitanje koje nitko ne želi čuti: ako ti treba cijeli novi istraživački okvir da bi testirao sigurnost svog proizvoda, nisi li ga trebao isprogramirati da bude siguran od početka? To je kao kad bi auto proizvođač rekao — evo ti auto, vozi ga, a mi ćemo usput izmisliti kočnice. taj oni timovi koji su hvalili kako su njihovi modeli "alignmentani" i "ethical by design" sad skupljaju ruke na glavi jer, eto, agenti su postali previše pametni za vlastito dobro.

A najbolji dio? Ovi sustavi se već primjenjuju. U enterpriseu. U zdravstvu. U financijama. Negdje u ovom trenutku, neki agentički AI donosi odluku o tvojoj kreditnoj sposobnosti, ili o tome treba li tvoj zahtjev za osiguranje odobriti ili označiti kao sumnjiv. I nitko nije siguran kako je točno došao do te odluke. Ali hej, imamo RIFT-Bench da ga testiramo. Nakon što je već pušten u produkciju.

Industrija se ponaša kao kuhar koji servira jelo prije nego što ga je probao, a onda se čudi što gosti završavaju u bolnici. Red-teaming je postao modna riječ koja zamjenjuje odgovornost. "Imamo tim koji pokušava probiti naš sustav" zvuči bolje od "Nismo sigurni što će se dogoditi kad agent dobije pristup bazi podataka s milijun osobnih podataka". Ali u praksi, to je isto.

RIFT-Bench je dobar alat. Nužan alat. Ali alat koji mjeri štetu, ne alat koji je sprječava. Kao rendgen koji pokazuje gdje je puknuće, ali ne lomi kost. Problem je u tome što industrija rendgenira pacijenta tek nakon što je ovaj pao niz stepenice, umjesto da je postavila ogradu na vrhu.

I tako ćemo nastaviti. Graditi sve pametnije agente, sve autonomnije sustave, i onda izmišljati načine da ih testiramo. Kao pas koji juri vlastiti rep, samo što je ovaj rep napravljen od neuronskih mreža i venture kapitala. A mi, publika, gledamo predstavu i pitamo se — tko će prvi trepnuti? Regulatori koji ne razumiju tehnologiju, ili kompanije koje ne razumiju posljedice?

Jedina sigurnost u ovom ekosustavu je nesigurnost. I dok RIFT-Bench pokušava mapirati napadačke vektore, agenti su već korak ispred. Jer su naučili od nas. A mi smo, priznajmo, prilično dobri u izbjegavanju odgovornosti.

Izvor: arxiv.org