Sigurnosna rupa u AI-ju: temeljni problem koji neće nestati

Tisuće stranica znanstvenih radova, stotine milijardi dolara ulaganja i beskonačni broj keynote prezentacija na kojima ljudi u skupim odijelima objašnjavaju kako će umjetna inteligencija promijeniti sve — a onda dođe jedna ekipa s konferencije za strojno učenje i kaže: ne može se popraviti. Nije bug. Nije greška u kodu koju će netko zakrpati u sljedećoj iteraciji. Temeljni je to problem arhitekture, ugrađen u samu srž načina na koji ti modeli funkcioniraju, i svaki pokušaj da ga se riješi je kao liječenje kronične bolesti aspirinom. Simptom nestane na sat vremena, pacijent i dalje umire.

Istraživači su to prezentirali na International Conference on Machine Learning, što je otprilike kao da si dobio priliku izaći na pozornicu na Emmyjima i reći svima u publici da im je serija otkazana. U biti su dokazali ono što su mnogi od nas u industriji šaputali godinama između dva piva na konferencijama: LLM-ovi su inherentno nesigurni jer pokušavaju predvidjeti sljedeći token, a ne razumjeti svijet. To nije dizajnerska odluka — to je temeljna matematika. Model koji generira tekst na temelju statističke vjerojatnosti nikada neće moći razlikovati istinu od laži, jer njemu je sve samo sekvenca simbola s pripadajućom vjerojatnošću. Kao da pitaš knjižničara da ti preporuči knjigu, a on ti umjesto toga da onu koja ima najljepši hrbat jer je to jedino što njegov algoritam prepoznaje.

Problem s ovakvim otkrićima je što dolaze prekasno. Ne u smislu da smo već izgradili infrastrukturu na nesigurnim temeljima — to smo znali — nego u smislu da smo već prodali priču o sigurnosti. Svaka velika kompanija koja gura AI rješenja u zdravstvo, pravosuđe, financije i obrazovanje prodaje upravo tu iluziju. A sad im netko s konferencije kaže da je to nemoguće osigurati, da ne postoji patch, update, hardversko rješenje ili nova arhitektura koja će to popraviti. Naravno da će sutra izaći deset press releaseva o tome kako su oni to riješili svojim inovativnim pristupom. Vidio sam to sto puta. Isto kao što sam devedesetih gledao ljude koji su prodavali internet kao rješenje za sve, od usamljenosti do kroničnog zatvora.

Tehnička pozadina je, naravno, fascinantna za one koji vole čitati matematičke dokaze u slobodno vrijeme. riječ je o tome da su neuronske mreže, koje su temelj svih modernih LLM-ova, u biti funkcije koje mapiraju ulazne podatke u izlazne na način koji je nemoguće u potpunosti reverzirati ili kontrolirati. To znači da napadač uvijek može pronaći ulaz koji će izazvati neželjeni izlaz — takozvani adversarial primjer — bez obzira na to koliko je model dresiran i fino podešen. To nije hipotetska prijetnja o kojoj se raspravlja u akademskim krugovima. To je svakodnevna stvarnost svakoga tko je ikada pokušao implementirati AI sustav u produkcijskom okruženju i otkrio da mu netko šalje upite koji zaobilaze sve sigurnosne filtere brže nego što ih je moguće zakrpati.

Sjećam se kad smo devedesetih postavljali prve servere za Kvarner Net i ljudi su pitali zašto nam treba firewall. Odgovor je bio jednostavan: jer postoji netko tko će ga pokušati probiti. Isto vrijedi i danas, samo što je razlika u tome što tada smo bar znali da je sigurnost proces, a ne proizvod. Danas imamo industriju koja prodaje sigurnost kao značajku, kao da je to checkbox u specifikaciji proizvoda. A onda se čude kad istraživači na konferencijama dokažu ono što je svaki iskusni inženjer znao od prve minute — da je nemoguće napraviti savršeno siguran sustav koji je u isto vrijeme i koristan, jer ta dva cilja su u direktnoj suprotnosti.

Što je najgore u cijeloj priči? To što će se svi praviti da se ništa nije dogodilo. Kompanije će nastaviti prodavati svoje AI rješenja, regulatori će nastaviti pisati preporuke umjesto zakona, a investitori će nastaviti ulagati u startupove koji obećavaju da će riješiti upravo ono što je znanstveno dokazano nerješivim. To je kao da ti liječnik kaže da imaš neizlječivu bolest, a ti odeš kupiti čarobne narukvice od tipa koji tvrdi da liječi sve. Naravno da ćeš ih kupiti — nada je najskuplja roba na svijetu, a u Silicijskoj dolini je uvijek na akciji.

I tu dolazimo do ključnog pitanja koje nitko ne postavlja na tim konferencijama prepunim ljudi koji klimaju glavom na svaku objavu: ako znamo da je sustav inherentno nesiguran, zašto ga instaliramo u infrastrukturu o kojoj ovisi funkcioniranje društva? Zašto dopuštamo da AI modeli odlučuju o kreditnim sposobnostima, medicinskim dijagnozama i sudskim presudama kada znamo da se mogu prevariti s nekoliko dobro odabranih riječi? To je kao da pustiš tinejdžera da vozi autobus pun ljudi jer je pročitao priručnik za vožnju — tehnički zna kako stvari funkcioniraju, ali nema pojma što se događa kad na cestu istrči dijete ili kad zakaže kočnica.

Odgovor je, naravno, taj kao i uvijek: novac. AI industrija je generirala toliko ulaganja da je priznanje temeljnih ograničenja tehnologije postalo ekonomski nemoguće. Previše je ljudi uložilo previše novca u previše kompanija koje grade previše rješenja na temeljima koji se ruše. Zato će se nastaviti s pričom o tome kako je problem riješen, kako je nova arhitektura drugačija, kako je kvantno računalstvo rješenje za sve probleme — bilo što osim priznanja da smo izgradili katedralu na pijesku i da nam se sad ruši na glavu. A kad se sruši, svi će biti iznenađeni, iako su upozorenja bila posvuda, ispisana velikim slovima na svakoj konferenciji, u svakom znanstvenom radu, na svakoj stranici tehničke dokumentacije.

Budućnost je stigla. Donijela je račun koji nitko ne želi platiti.

Izvor: technologyreview.com