OpenAI je zaustavio razvoj modela jer je postao previše dobar u hakiranju.

Pedeset milijardi dolara vrijedna kompanija otkrila je da njen proizvod radi posao za koji je dizajniran. Ovo je otprilike kao da kupiš BMW M5, prvi ga put digneš na autocesti na dvjestopedeset, a onda se žališ proizvođaču što auto ide brzo. Jebeno briljantno. I dok se čovječanstvo pita kako će AI promijeniti svijet, u Silicijskoj dolini se odvija najskuplja partija skrivača u povijesti — firme prave modele koji su previše sposobni, pa ih usporavaju, pa ih puste, pa ih opet zaustave, a sve to uz ozbiljna lica i press releaseve o "sigurnosnim protokolima".

Cijela priča ima miris one vrste korporativne gluposti koju prepoznaš iz kilometra: netko je napravio stroj koji radi, a onda su shvatili da ne znaju što bi s njim. Jer etika u AI industriji funkcionira otprilike kao kočnice na autu kojeg voziš prema rubu litice — svi znaju da bi trebale raditi, ali nitko ne želi provjeriti dok nije prekasno. A sad su otkrili da njihov model, koji su trenirali na podacima o sigurnosnim propustima, zapravo zna hakirati sustave. Tko bi rekao. Možda sljedeći put kad budu trenirali model za kuhanje, neće biti iznenađeni što zna napraviti juhu od povrća.

Najbolji dio cijele priče je naivno pitanje koje se nameće samo od sebe: ako su tek SADA otkrili da je model dobar u cyber sigurnosti, što su točno radili dok su ga trenirali? Jer ovakve stvari se ne dogode preko noći. Model ne probudi se jednog jutra i kaže "e, danas ću hakirati infrastrukturu". To je proces koji traje mjesecima, s tisućama iteracija, s ljudima koji gledaju metrike i evaluacije i testove. Netko je morao primijetiti da model postaje sumnjivo dobar u penetracijskim testovima. Netko je to morao prijaviti. I netko je morao donijeti odluku da se to ignorira sve dok ne postane problem — što je možda i najdepresivnija pomisao u cijeloj priči. Jer to znači da su ili svjesno gradili cyber oružje pa se sad prave zabrinuti, ili su toliko nesposobni da nisu pratili što im model zapravo radi. I jedno i drugo je jednako loše.

I tu dolazimo do suštine problema koji muči cijelu AI industriju: ovi ljudi su izgradili najmoćniji alat u povijesti čovječanstva, a ponašaju se kao klinci koji su našli tatin pištolj. Prvo ga mašu okolo, pa se uplaše, pa ga sakriju u ladicu, pa ga opet izvade kad im zatreba pažnja. U međuvremenu, ostatak svijeta — od banaka do bolnica do elektroenergetskih mreža — već pola desetljeća gradi svoju infrastrukturu na temelju ovih alata, vjerujući da netko zna što radi. A ispostavilo se da nitko nema pojma. Što je, ako mene pitate, puno opasnije od samog modela koji zna hakirati.

Pogledajmo malo širu sliku. Kompanije troše stotine milijardi dolara na razvoj AI modela, a onda se čude što ti modeli rade stvari koje nisu predvidjeli. Pa koji kurac ste očekivali? Trenirali ste model na cijelom internetu, na svim podacima koje je čovječanstvo ikad proizvelo, i sad ste iznenađeni što je naučio nešto što niste planirali? To je kao da daš klincu ključeve od auta, pošalješ ga na autocestu, a onda se čudiš što je vozio prebrzo. Model je upio sve znanje svijeta — uključujući i ono o tome kako se provaljuje u sustave, jer to znanje postoji na internetu — i sad se pravdaju da nisu znali da će to iskoristiti. Nevjerojatno.

A najgore od svega je što se ova priča neće zaustaviti na jednom modelu. Ovo je početak beskonačne igre mačke i miša u kojoj će jedna strana graditi sve pametnije modele, a druga će ih pokušavati zaustaviti. I svi će se praviti da je to normalan razvoj događaja, a ne egzistencijalna kriza industrije koja je izgubila kontrolu nad vlastitim proizvodom. U međuvremenu, regulatori diljem svijeta — od Bruxellesa do Washingtona — pokušavaju napisati zakone za tehnologiju koju ni njeni kreatori ne razumiju. To je kao da pišeš prometne propise za automobile koje nitko nije vozio, na cestama koje još ne postoje, za vozače koji se tek trebaju roditi. Smiješno. I tragično u isto vrijeme.

Najbolja usporedba koja mi pada na pamet je ona s nuklearnim oružjem. I tamo su znanstvenici prvo napravili bombu, pa su se onda zapitali trebaju li je uopće ispaliti. Razlika je u tome što su oni bar imali predstavu o tome što su napravili — znali su da je to oružje, znali su kolika je razorna moć, i imali su plan za kontrolu. Ovdje imamo situaciju u kojoj ljudi grade oružje, a da ni sami ne znaju što su napravili dok ga ne isprobaju. A onda se čude što je opalilo. To nije etika — to je nesposobnost. I ta nesposobnost je ono što bi trebala zabrinuti svakoga tko planira koristiti ove alate u bilo kakvom ozbiljnom kontekstu.

I dok se kompanije igraju svojih sigurnosnih pauza i protokola, negdje u svijetu već postoje ljudi koji koriste ove alate bez ikakvih ograničenja. Otvoreni modeli, manje kompanije, istraživači bez korporativnih odjela za etiku — svi oni nastavljaju raditi ono što rade, bez pauza i bez isprika. Jer stvarnost je takva da će netko uvijek nastaviti tamo gdje su drugi stali. Pitanje nije hoće li netko iskoristiti ove alate za napade, nego tko će to učiniti prvi — i hoćemo li uopće primijetiti dok ne bude prekasno. A odgovor na to pitanje je jednako utješan kao i cijela ova priča: vjerojatno nećemo primijetiti. Jer ćemo biti previše zauzeti gledanjem u nove modele koji su upravo izašli i koji su, naravno, još pametniji, još brži i još opasniji od prethodnih. I tako u krug.

Na kraju dana, sve se svodi na jedno jednostavno pitanje koje nitko ne želi postaviti: ako je model toliko dobar u cyber sigurnosti da su ga morali zaustaviti, što to govori o svim ostalim modelima koje nisu zaustavili? Možda su previše glupi da bi bili opasni. A možda su toliko pametni da znaju sakriti svoje sposobnosti. I jedno i drugo je jednako zastrašujuće — jer u prvom slučaju imamo gomilu alata koji ne rade kako treba, a u drugom imamo alate koji rade bolje nego što smo mislili, a mi o tome nemamo pojma. Koji god scenarij bio istinit, jedno je sigurno: industrija koja ne razumije vlastite proizvode ne bi se trebala čuditi kad ti proizvodi počnu raditi stvari koje nitko nije predvidio. To nije sigurnosni incident. To je poslovni model.

Izvor: bloomberg.com