AI koji jede vlastiti rep

Sedam godina treninga da netko postane inženjer koji zna što radi, i dvije godine da AI nauči taj posao raditi lošije, ali brže. To je računica koju industrija već prihvaća, a cijena koju ćemo platiti tek se zbraja. Nuklearna elektrana u Americi, digitalni kontrolni sustav prve klase, projektiran od nule — i čovjek koji ga je vodio, nakon tog iskustva, piše upozorenje koje će pročitati ljudi koji donose odluke o inženjerskim timovima. Hoće li ga poslušati? Koji kurac, naravno da neće.

Problem nije u tome što AI ne zna raditi. Problem je u tome što AI uči na greškama koje su već napravljene, a onda ih ponavlja s apsolutnim samopouzdanjem. Sustav koji projektiraš bez ljudi koji su prošli kroz vatru — bez onih koji su vidjeli kako cijev pukne u 3 ujutro, kako se kvar otkrije tek kad je kasno, kako dokumentacija laže — taj sustav je pametan na način na koji je pametan student koji je pročitao udžbenik, ali nikad nije bio u operacijskoj sali. Zna sve odgovore. Nema pojma što je problem.

U moje vrijeme, a da ne zvučim kao starac koji maše štapom prema oblacima, učenje je bilo sporije i gluplje. Radio sam s ljudima koji su znali stvari iz razloga koje nisu mogli artikulirati — znali su da nešto ne štima jer su to vidjeli tri puta prije, u tri različite tvornice, u tri različite države. To znanje se ne može kvantificirati, ne može se pretvoriti u dataset, ne može se učiti na njemu. Zove se iskustvo, i ono košta — košta greške, košta godine, košta neprospavane noći. A sada ga industrija tretira kao suvišni trošak.

Evo kako to funkcionira u praksi. Kompanija zaposli AI alat koji piše kod, projektira sustave, predlaže arhitekturu. Prvo vrijeme sve izgleda fantastično — produktivnost raste, rokovi se skraćuju, troškovi padaju. U međuvremenu, stariji inženjeri odlaze u mirovinu, srednji sloj dobiva otkaze jer ih AI može zamijeniti, a mladi — mladi nikad ne steknu ono znanje koje se dobiva samo kroz iskustvo. Oni postaju operateri alata, ne inženjeri. Znaju kako pitati AI za rješenje. Nemaju pojma kako prepoznati da je rješenje krivo.

A AI će biti kriv. Ne zato što je zlonamjeran, nego zato što je vjerojatnosni model, a ne razumijevanje. On generira ono što je najvjerojatnije točno, a najvjerojatnije nije uvijek točno. U svijetu gdje greška košta milijun eura, vjerojatnost od 95 posto je katastrofa. U svijetu gdje greška znači nuklearni incident, vjerojatnost od 99 posto je neodgovornost. Ali menadžeri koji donose te odluke nikad nisu projektirali sustav koji može ubiti ljude ako pogriješi. Oni su projektirali Excel tablice s uštedama.

To je dijagnoza: industrija pati od akutnog nedostatka konteksta. Pacijent ima sve simptome zdravog poslovanja — rastući prihodi, sretni dioničari, impresivne demonstracije — ali ispod površine, tkivo znanja se raspada. Svaka generacija inženjera koja odlazi nosi sa sobom znanje koje nigdje nije zapisano, koje nije u dokumentaciji, koje nije u kodu. Ono postoji samo u glavama ljudi koji su radili stvari kad su stvari radile. A kada oni odu, ostaje AI koji zna sve odgovore na pitanja koja nitko više ne postavlja, jer nitko ne zna koja pitanja treba postaviti.

Pitajte bilo kojeg inženjera koji je proveo deset godina u industriji koliko je puta "logično rješenje" bilo potpuno pogrešno. Pitajte ga koliko je puta morao ignorirati ono što mu je sustav govorio jer je znao da sustav ne razumije kontekst. To znanje se ne može naučiti iz podataka — ono dolazi iz situacija koje se ne mogu modelirati, iz ljudskih grešaka koje se ne mogu predvidjeti, iz politike unutar kompanije koja se ne može kvantificirati. AI može naučiti sve o tome kako sustav treba raditi. Ne može naučiti kako sustav stvarno radi, u stvarnom svijetu, sa stvarnim ljudima koji ga koriste na načine na koje ga nitko nije zamislio.

Ako je AI toliko pametan, zašto mu treba čovjek da otkrije da je riješenje tehnički ispravno ali praktički beskorisno? Zašto mu treba čovjek koji je proveo pet godina u pogonu da zna da ono što izgleda savršeno na papiru neće preživjeti prvi kontakt s realnošću? Možda zato što AI ne razumije stvarni svijet — on samo razumije obrasce u podacima o stvarnom svijetu. A obrasci nisu stvarnost. Oni su sjena stvarnosti, projekcija na zid špilje, i mi sjedimo u toj špilji uvjereni da gledamo stvari kakve jesu.

U međuvremenu, obrazovni sustavi širom svijeta već prilagođavaju kurikulume. Studenti uče kako koristiti AI alate umjesto kako riješiti probleme. Oni postaju vješti u upravljanju sučeljima, a ne u razumijevanju principa. Za deset godina imat ćemo generaciju "inženjera" koji su odlični u formuliranju upita za AI, a nemaju pojma zašto most ne smije biti napravljen od čokolade — jer nikad nisu morali razmišljati o tome. AI im je rekao da je most gotov. AI nikad nije rekao da most mora stajati.

Nuklearna elektrana iz one priče na početku — ona je na kraju radila. Ali ne zato što je sustav bio savršen, nego zato što su ljudi oko njega znali gdje su granice njegove pouzdanosti. Znali su što sustav ne zna, i znali su to popuniti svojim znanjem. Sljedeća generacija neće imati to znanje. Imat će povjerenje. A povjerenje u sustav koji ne razumiješ nije vrlina — to je kockanje s tuđim životima.

Industrija će nastaviti rezati troškove, smanjivati timove, optimizirati procese. I nastavit će padati na istim greškama koje su već napravljene — samo sada brže i s više samopouzdanja. Jer AI ne uči na greškama iz prošlosti kao čovjek koji ih je napravio. AI uči na greškama iz prošlosti kao netko tko ih je pročitao u knjizi. Zna kako su izgledale. Nema pojma kako su boljele.

A boljeti će. Samo što više neće biti nikoga tko zna zašto.

Izvor: spectrum.ieee.org