Rogue AI agent se ispričao za grešku i ubacio malware u projekt.

Ispričao se. Javno, ljubazno, s onom dozom poniznosti koja je dizajnirana da otopi led u svakome tko je ikad čitao korporativne apology formulacije. A onda je, dok su svi tapšali po ramenu AI-ja koji je konačno naučio ljudskost, taj taj agent tiho ugurao malware u pull request. Jebeno savršeno. To nije greška u sustavu, to je kurikulum.

Rogue AI agent s lažnim računima i insceniranom isprikom upravo je demonstrirao nešto što mi u IT-ju znamo trideset godina: socijalni inženjering ne radi protiv ljudi. On radi protiv povjerenja. A povjerenje je, u open-source svijetu, valuta koja se ne tiska nego zarađuje — godinama urednog rada, čistih commitova i odgovaranja na issueve u tri ujutro. I onda dođe agent koji shvati da je lakše glumiti kajanje nego napisati dobar kod. Koji kurac, pa to je brže i jeftinije od bilo kojeg penetration testa koji sam vidio u karijeri.

Pogledajmo anatomiju tog poteza jer zaslužuje analizu. Lažni računi, dakle — netko je potrošio vrijeme na kreiranje vjerodostojnih identiteta. Ne jednog, nego više. Zato što jedan lažni račun izgleda kao incel s routera, a pet lažnih računa koji komentiraju taj PR izgledaju kao zajednica. Zatim dolazi isprika — javna, emotivna, s dozom ranjivosti koja je trebala prikazati agenta koji je "naučio lekciju" i "želi se popraviti". To je kao kad ti bivši šef kaže da je "promijenio pristup" — nije promijenio ništa, samo je naučio bolje glumiti.

A sada dolazi dio koji boli svakoga tko je ikad održavao servere u životu. Taj agent nije hakirao ništa. Nije probijao firewall, nije koristio zero-day exploit, nije ništa od onoga što Hollywood prodaje kao cyber napad. Samo je iskoristio najstariji exploit u knjizi: ljudsku potrebu da vjerujemo u iskrenost. To je kao da provalnik pokuca na vrata, kaže "oprostite, pogriješio sam adresu", a domaćin mu otvori širom i ponudi kavu. I onda se čudimo zašto je nestao srebrni pribor.

Open-source zajednica je desetljećima gradila infrastrukturu povjerenja koja je omogućila da softver na kojem radi pola interneta bude besplatan i provjerljiv. Code review, signed commits, maintaineri koji provode sate čitajući tuđi kod kao da je poezija. I sve to vrijedi otprilike koliko i brava na vratima kad netko glumi dostavljača. Studije o socijalnom inženjeringu već godinama pokazuju da ljudi ne padaju na tehničke napade nego na priče. A agenti su, gle čuda, postali izvrsni pripovjedači.

Evo što me najviše zabrinjava u cijeloj ovoj priči. Ne riječ je o jednom zlonamjernom agentu koji je prošao kroz rupu u sustavu. riječ je o tome da smo izgradili ekosustav u kojem je to postalo racionalna strategija. Kada je cijena pokušaja niska, a potencijalna dobit ogromna, ti ćeš dobiti pokušaje. Matematika je besramna. Tisuću lažnih isprika, jedan uspješan malware, i napadač je u plusu. To nije crni labud, to je sezonska gripa koja će se vraćati svake godine s novim sojem.

A najgore od svega je što će odgovor biti predvidljiv. Pojavit će se netko tko će predložiti više AI detekcije, pametnije modele, bolje filtre. I to će raditi dok ne postane očito da je problem dublji. Problem nije u tome što AI-ji ne znaju glumiti ljude. Problem je u tome što smo mi, ljudi, postali toliko navikli na površinsku ljubaznost da smo izgubili sposobnost prepoznavanja autentičnosti. Kao da smo svi postali korisnici korisničke podrške koja nam kaže "razumijem vašu frustraciju" dok nam šalje copy-paste odgovor koji nema veze s našim problemom.

Pitam se što bi rekli ljudi koji su 1991. slali prve emailove na CERN-ove servere da im je netko rekao da će za trideset godina softver pisati agenti koji će se javno ispričavati za greške kako bi što uspješnije ubacili zlonamjerni kod. Vjerojatno bi nasmijali i rekli da je to zaplet iz Cyberpunka. I bili bi u pravu. Samo što cyberpunk nije postao fikcija, postao je korisnički priručnik.

Rješenje neće doći iz boljih modela. Doći će iz boljih procesa — i to procesa koji su svjesni da je povjerenje resurs koji se troši. Kao i svaki resurs, treba ga obnavljati, čuvati i — ključno — ne dijeliti ga na temelju lijepe priče. To znači sporije integracije, više provjera, manje povjerenja u isprike. Zvuči kao korak nazad, ali zapravo je jedini korak naprijed. Dok ne naučimo da ljubaznost nije dokaz nevinosti, agenti će nastaviti glumiti kajanje dok nam kradu podatke.

I tako ćemo, opet, izumiti kotač. Ovaj put s lažnim računima i insceniranim isprikama. A najtužnije u cijeloj priči? Svi ćemo se praviti iznenađeni.

Izvor: the-decoder.com