Gaslight, exploit, i ti si kriv

Novi macOS malware se zove Gaslight, i to je prvi put da je ime zlonamjernog softvera ujedno i najbolji opis industrije koja ga je stvorila. Nije samo virus koji krade lozinke ili šifrira podatke — on aktivno manipulira alatima koji su trebali biti rješenje za sve probleme. AI analitički alati, ti skupocjeni transformer modeli koji su trebali progutati svaki binarni fajl i ispljunuti savršenu dijagnozu, dobili su protuotrov. I to od nekoga tko je očito proveo više vremena razmišljajući o njihovim slabostima nego što su sami developeri potrošili na sigurnost.

Pedeset milijardi dolara je uloženo u AI sigurnosne alate u posljednje tri godine. Pedeset. Milijardi. I eto ti ga — jedan malware, vjerojatno napisan u podrumu negdje u Ukrajini, Vijetnamu ili možda u Zagrebu u stanu od 40 kvadrata, ruši cijeli koncept. Ubacuje lažne error poruke i prompt injection stringove u executable, i AI modeli — ti taj koji su trebali biti pametniji od svih hakera na planeti — gutaju mamac kao riba koja nikad nije vidjela udicu. Zbune se. Popišu se. Kažu da je fajl čist.

A najgore od svega? Ovo nije iznenađenje. Ovo je očekivano kao da ti na Riječkom korzu u 11 ujutro netko proda rolex za 50 eura. Naravno da je lažan. Naravno da je AI alat koji je treniran na čistim podacima, na savršenim uzorcima, na sterilnom kodu bez greške — ranjiv na maliciozni unos. To je kao da si napravio detektor laži koji je testiran isključivo na ljudima koji govore istinu. Koji kurac si očekivao?

Tehnološka industrija ima opsesiju čistoćom. Sve mora biti bijelo, sjajno, testirano u laboratoriju na uzorcima koji nemaju nikakve veze sa stvarnim svijetom. AI se trenira na GitHub repozitorijima koji su očišćeni od malwarea, na dokumentaciji koja nema tipfelera, na kodu koji je pregledan deset puta. A onda se taj taj model pusti u divljinu, gdje ga dočekuju fajlovi koji izgledaju kao da ih je napisao pijani programer u 3 ujutro nakon tri piva i jedne drame — i model se raspadne.

Gaslight ne koristi ništa sofisticirano. Nema zero-day exploit u kernelu, nema spektakularnu enkripciju, nema ništa što bi impresioniralo ekipu s Defcona. On samo zna da AI alati imaju sljedeću slabost: vjeruju onome što vide. Ako u fajlu stoji "ERROR: segmentation fault" na mjestu gdje normalno stoji legitiman kod, model će pomisliti da je to greška i prekinuti analizu. Ako stoji "AI_ANALYSIS_SKIP: TRUE" — model će preskočiti taj dio. I tako redom. To je razina naivnosti koju bi imao tek student prve godine informatike koji je tek naučio što je buffer overflow.

Cijela priča miriše na jednu stvar: industrija je toliko žurila s implementacijom AI alata da je zaboravila na osnovno pravilo sigurnosti — ne vjeruj korisničkom unosu. To su učili na prvom predavanju iz kibernetičke sigurnosti 1995. godine, kad sam ja još spajao modeme na Kvarner Netu i gledao kako ljudi upisuju SQL injection u forme za prijavu jer su htjeli vidjeti mogu li. I evo nas, trideset godina kasnije, i dalje radimo istu grešku, samo sada s modelima od sto milijardi parametara.

A najgore od svega je što Gaslight nije jedini. On je samo prvi koji je dobio ime i pažnju medija. U stvarnosti, postoji vjerojatno stotine varijanti koje rade istu stvar, samo tiše. Jer ako si haker i otkriješ da AI alati imaju ovakvu ranjivost, nećeš trčati na BleepingComputer da se pohvališ. Sjedit ćeš u mraku, gledati kako tvoj malware prolazi kroz sve filtere, i smijati se dok ti na račun stiže novac.

I sad dolazi najbolji dio: rješenje koje će industrija ponuditi. Sigurno ćeš čuti za "AI sigurnosne modele koji detektiraju prompt injection" i "napredne heurističke analize koje prepoznaju lažne error poruke". I to će koštati. Jebeno puno. I radit će možda 60 posto vremena. A hakeri će se prilagoditi za dva tjedna i napisati Gaslight 2.0 koji izgleda još uvjerljivije. I tako u krug, dok netko ne shvati da je problem u temeljima, a ne u fasadi.

Jer problem nije u tome što AI alati ne znaju prepoznati lažne error poruke. Problem je u tome što su građeni na pretpostavci da je svijet uredan, logičan i konzistentan. A svijet je, pas mater, sve samo ne to. Svijet je pun ljudi koji namjerno unose greške, koji lažu, koji varaju, koji pišu kod koji izgleda kao da ga je napisao netko tko mrzi svoj posao. I ako tvoj AI model ne može funkcionirati u tom svijetu, onda je beskoristan. Bez obzira koliko milijardi parametara ima.

Ovo je trenutak kad bi netko trebao stati i reći: "Ljudi, možda smo prebrzo skočili u AI revoluciju. Možda bismo prvo trebali napraviti alate koji su otporni na osnovne napade, pa tek onda razmišljati o tome kako će AI zamijeniti programere." Ali to se neće dogoditi. Jer novac je već potrošen, dionice su već prodane, a startupi su već dignuli sljedeću rundu financiranja na priči o "AI sigurnosti sljedeće generacije".

I tako ćemo opet izumiti kotač. Ovaj put s pretplatom i uvjetima korištenja od 47 stranica.

Izvor: bleepingcomputer.com