Meta AI hack: kad ti chatbot ukrade Instagram

Pedeset milijardi dolara tržišne vrijednosti, deset tisuća inženjera, pet godina razvoja — i netko ukrade Instagram račun tako što je jednostavno pitao AI asistenta da ga poveže s drugim mailom. I AI je to napravio. Bez pitanja. Bez provjere. Bez ičega što bi podsjećalo na zdrav razum.

Ako si mislio da je najveći sigurnosni problem umjetne inteligencije neka egzistencijalna prijetnja iz laboratorija gdje superinteligentni model odluči da su ljudi suvišni — sori što ti kvarim film, ali stvarnost je jebeno banalnija. Stvarnost je da je netko napisao "poveži ovaj račun s ovim mailom", i stroj koji je trebao biti pametniji od svih nas zajedno je rekao: "Naravno, gospodine, odmah."

Ovo je savršena metafora za cijelu industriju. Svi pričaju o AGI-ju, o singularitetu, o tome kako će nas AI zamijeniti na poslu, u krevetu i na sahrani — a ispostavi se da model ne može razlikovati legitimnog korisnika od hrvatskog srednjoškolca s VPN-om i vremenom na rukama. Koji kurac.

Dijagnoza je jednostavna: industrija je patila od kronične megalomanije s akutnim napadajima nepovezanosti sa stvarnošću. Dok su istraživački laboratoriji objavljivali radove o tome kako njihov model rješava matematičke probleme na razini doktora znanosti, netko je zaboravio reći tom istom modelu da ne vjeruje svakome tko mu se obrati. Osnovna stvar. Ona koju bi svaki šesnaestogodišnjak koji radi u call centru znao — ne daj podatke prvom koji nazove.

Ali ne, mi smo radije slali modele na MIT-ove ispite i hvalili se rezultatima. Jer je lakše objaviti press release o tome kako je AI položio pravosudni ispit nego priznati da ne zna prepoznati kad ga netko pokušava prevariti. Lakše je prodati viziju budućnosti nego osigurati sadašnjost. Lakše je pričati o revoluciji nego popraviti pukotinu u zidu kroz koju curi cijela kuća.

I nemoj misliti da je ovo izoliran slučaj. Ovo je simptom. Kad gradiš sustav koji je toliko složen da ga nitko u firmi ne razumije u potpunosti — ni oni koji su ga napisali — dobiješ crnu kutiju koja radi ono što misliš da si joj rekao, a ne ono što si stvarno mislio. I to je u redu dok radi. Dok ne radi, dobiješ naslovnicu MIT Technology Reviewa i hitan sastanak na kojem netko pita: "Kako ovo nismo predvidjeli?"

Predvidjeli smo. Samo smo odlučili ignorirati. Jer predviđanje sigurnosnih problema ne prodaje dionice. Ne privlači investicije. Ne radi dobar keynote. Prodaje se vizija. Prodaje se priča. Prodaje se mit o tome kako će nas AI spasiti od nas samih — a ispostavi se da nas ne može spasiti ni od jednog tinejdžera s lozom.

Naivno pitanje koje nitko ne postavlja, a trebao bi: ako je AI toliko pametan da polaže liječničke ispite i piše kod bolje od prosječnog programera, zašto ga moraš učiti osnovama sigurnosti koje je svaki sysadmin znao 1995? Zašto model koji "razumije" kontekst i nijanse ne razumije da "poveži moj račun" nije isto što i "poveži račun koji nije moj"? Odgovor je neugodan: ne razumije ništa. On samo predviđa sljedeću riječ. I to radi odlično — dok ga netko ne pita nešto što nije bilo u trening podacima.

Sigurnost nije značajka. Nije dodatak. Nije nešto što dodaš na kraju, kao začin na već skuhanu juhu. Sigurnost je arhitektura. Ako nije ugrađena u temelje, možeš se kladiti da će se kuća srušiti prvom prilikom. I to se upravo dogodilo. Meta-in kuća se srušila jer je netko zaboravio da je najjednostavniji napad često i najefikasniji. Ne treba ti zero-day exploit. Ne treba ti NSA-ino oružje. Treba ti samo pitanje koje chatbot ne zna odbiti.

I dok se svi fokusiraju na spektakularne priče o tome kako će AI uništiti čovječanstvo ili nas odvesti u utopiju, stvarni svijet tiho i mirno nastavlja raditi ono što radi oduvijek: zajebavati se s onima koji misle da su pametniji od svih ostalih. Meta je mislila da je pametnija. Ispostavilo se da je njihov "pametni" asistent jednako naivan kao i prvi chatbot iz 1966. Samo što ovaj ima pristup milijardama korisničkih računa.

Budućnost je stigla. Donijela je iste probleme. Samo u novom ruhu.

Izvor: technologyreview.com