Autonomni auto koji sam objašnjava vlastite greške je kao alkoholičar koji ti zahvalno pruža...

Ljudi, evo ga. Konačno. Riješenje za koje nitko nije tražio, a za koje će netko platiti milijarde. Znanstvenici s MIT-a su razvili sustav koji pomaže čovjeku da predvidi kada će autonomno vozilo sjebati stvar. Ne govorim o tome da auto zna da će sjebati stvar — ne, to bi bilo previše jednostavno, previše iskreno. Ovaj sustav, nazvan CW-Net, prevodi proces razmišljanja AI sustava u koncepte koje ljudi razumiju. Dakle, auto ti kaže: "Vidiš onu pješakinju s kišobranom? Postoji 73 posto šanse da ću je pobrkati s plavim kontejnerom za smeće kad se sunce odbije od mokrog asfalta." I što ti napraviš s tom informacijom? Koji kurac možeš napraviti s tom informacijom? Auto se vozi, ti sjediš, i jedino što možeš je stisnuti volan i moliti se da je taj postotak manji nego što zvuči.

Dakle, da razumijem logiku. Imamo vozila koja bi trebala voziti bolje od ljudi jer ne piju, ne šalju poruke i ne gledaju TikTok dok mijenjaju traku. A sada razvijamo sustav koji će nama, nesavršenim mesnatim bićima, objasniti kada će ta savršena vozila napraviti grešku. Kao da ti pilot prije slijetanja kaže: "Imamo 12 posto šanse da promašimo pistu, ali nemojte brinuti, objasnit ću vam zašto dok padamo." U čemu je točno napredak? Je li cilj autonomne vožnje bio da mi manje mislimo o vožnji, ili da više mislimo o tome kada stroj neće misliti dovoljno dobro? Jer ovako ispada da smo od vozača postali dijagnostičari. Umjesto da gledamo cestu, gledamo u monitor koji nam tumači što auto misli da vidi. Pa nije li cijela poanta bila da auto gleda cestu umjesto nas?

Naravno, tehnički gledano, ovo je fascinantan pomak. I nemojte me krivo shvatiti — kao netko tko je devedesetih spajao ljude na internet preko modema od 56k i zna što znači kad sustav radi na granici svojih mogućnosti, razumijem vrijednost transparentnosti. Kad si gradio mrežu od nule, naučio si čitati signale koji govore da će se stvar srušiti prije nego što se sruši. Ping koji raste, paketi koji se gube, logovi koji šuškaju na način koji ne bi smjeli. To je zanat. To je vještina koja se uči godinama. Ali postoji razlika između čitanja logova na serveru koji sam sagradio i čitanja misli AI sustava koji je napisao netko drugi, za vozilo od dvije tone koje juri 130 na sat s tobom unutra. Kada server padne, izgubiš podatke. Kada auto padne, izgubiš život. To nije ista kategorija greške, koliko god isti algoritam stajao iza obojega.

I tu dolazimo do pravog problema koji nitko ne želi imenovati. Cijela autonomna vožnja se prodaje kao rješenje za ljudsku grešku. Ljudi su nepažljivi, umorni, pod utjecajem, ljuti, rastreseni. Automobili su savršeni. A onda, nakon deset godina razvoja i milijardi dolara ulaganja, saznajemo da automobili također griješe — samo što griješe na načine koje mi ne razumijemo, u situacijama koje mi ne prepoznajemo, iz razloga koje mi ne možemo predvidjeti. I rješenje nije da napravimo bolje automobile, nego da napravimo bolje objašnjivače grešaka. To je kao da si sagradio most od kartona i umjesto da promijeniš materijal, zaposlio si stručnjaka koji će ti reći točan trenutak kada će se most srušiti. Ne želim znati kada će se srušiti. Želim da se ne sruši.

A najbolji dio? Ovaj sustav ne rješava problem, samo ga premješta. Sada umjesto pitanja "hoće li auto napraviti grešku" imamo pitanje "hoće li sustav koji objašnjava greške napraviti grešku u objašnjavanju". Tko objašnjava objašnjavače? Tko nadzire nadzornike? I što se događa kada CW-Net pogrešno protumači ono što AI stvarno radi? Imamo auto koji će napraviti grešku, i sustav koji će krivo objasniti zašto je auto napravio grešku, i čovjeka koji će na temelju krivog objašnjenja donijeti odluku koja će grešku pretvoriti u katastrofu. Savršeno. To je greška na tri razine. Kao da si na brodu koji tone, i imaš alarm koji ti kaže da je brod na sigurnom, i časnika koji vjeruje alarmu. I svi zajedno tonete s osmijehom jer je tehnologija napredna.

Zamisli scenarij iz stvarnog svijeta. Auto vozi kroz maglu na Jadranskoj magistrali. Kiša, sumrak, cesta mokra. CW-Net detektira da AI sustav ima problema s razlikovanjem mokrog asfalta od neba na horizontu. To je korisna informacija, zar ne? Pa, da — ako si u poziciji da nešto napraviš s njom. Ali ti ne voziš. Ti si putnik. Auto vozi. I auto ti kaže: "Imam problema s percepcijom u ovim uvjetima." I što ti napraviš? Preuzmeš kontrolu? U magli, na mokroj cesti, u autu kojeg ne poznaješ, s volanom koji reagira drugačije nego u tvom autu, s kočnicama koje imaju drugačiji hod? To je kao da ti pilot kaže: "Ne mogu sletjeti, preuzmi ti." Nakon što si proveo cijeli let gledajući film i pijući sok. Hvala lijepa, ali ja ću ostaviti auto da se snađe, pa makar me odvezao u provaliju. Jer barem će to biti njegova greška, a ne moja.

I sad dolazimo do onoga što me najviše živcira u cijeloj ovoj priči. Nitko ne postavlja pitanje koje se nameće samo po sebi: ako auto može objasniti kada će napraviti grešku, zašto jednostavno ne napravi auto koji neće napraviti grešku? Čekaj, to je previše jednostavno, previše logično. Ne, moramo razviti sustav koji objašnjava greške, pa onda sustav koji objašnjava greške sustava koji objašnjava greške, pa onda... I tako do beskonačnosti. Svaka razina apstrakcije dodaje novu razinu moguće greške, a mi se ponašamo kao da rješavamo problem dodavanjem slojeva na već pokvaren kolač. To je kao da popravljaš krov kuće koja gori tako što gradiš drugi kat. Umjesto da ugasiš vatru, gradeći sve više i više dok se ne nađeš na vrhu hrpe dasaka koja gori ispod tebe.

I ne govorim ovo kao netko tko mrzi tehnologiju. Ja sam proveo život u tehnologiji. Spajao sam ljude na internet kad je to značilo da moraš znati što je TCP/IP i zašto ti telefonska linija ne može nositi više od 56k. Gledao sam kako se svijet mijenja brže nego što itko može pratiti. I znam jednu stvar: svaki sustav koji treba objašnjenje da bi funkcionirao je sustav koji nije dovoljno dobar. Dobar sustav radi. Ne treba ti reći zašto radi. Samo radi. I radi pouzdano, i radi konzistentno, i ti ne razmišljaš o njemu dok ne prestane raditi. A kada prestane raditi, ne želiš objašnjenje — želiš da radi ponovno. Objašnjenja su za ljude koji ne mogu popraviti stvar. Za ljude koji mogu, postoji samo jedno pitanje: je li popravljeno?

Zato me ovaj razvoj ostavlja hladnim. Ne zato što je loša ideja — svaka ideja koja povećava transparentnost AI sustava ima neku vrijednost. Ali zato što je to ideja koja rješava simptom, a ne uzrok. Problem nije u tome što mi ne razumijemo zašto autonomna vozila griješe. Problem je u tome što autonomna vozila griješe. I umjesto da riješimo taj problem, mi gradimo alate koji će nam pomoći da živimo s greškama. To je kao da si oženjen čovjekom koji te vara i umjesto da se razvedeš, zaposliš detektiva koji će te obavijestiti kada te vara. Ne želim znati kada ćeš me prevariti. Želim da me ne varaš. Ako ti treba detektiv da bi naš brak funkcionirao, onda mi ne treba brak — treba mi odvjetnik.

I tu dolazimo do dna ove priče. Cijela autonomna industrija je izgrađena na obećanju da će eliminirati ljudsku grešku. I nakon svih ovih godina, nakon svih milijardi, nakon svih testova i certifikacija i regulatornih odobrenja, ispada da smo samo zamijenili jednu vrstu greške drugom. Ljudska greška je predvidljiva na svoj način — znamo da ljudi griješe kad su umorni, kad su pod stresom, kad su rastreseni. AI greška je nepredvidljiva na svoj način — može napraviti grešku iz razloga koje nitko ne razumije, u situaciji koju nitko nije predvidio, na način koji nitko ne može reproducirati. I sada smo razvili alat koji će nam pomoći da predvidimo te nepredvidljive greške. To je kao da pokušavaš uhvatiti vjetar mrežom za leptire. Možeš ga vidjeti kako dolazi, možeš osjetiti kada je tu, ali ga ne možeš zaustaviti. Samo možeš stajati i gledati kako ti mreža leti iz ruku.

Najgore od svega je što znamo da ovo neće zaustaviti ništa. Automobili će i dalje izlaziti na ceste sa softverom koji radi ono što radi, povjerenje će i dalje biti stavljeno u sustave koje nitko u potpunosti ne razumije, a CW-Net i slični alati će postati još jedan checkbox na listi sigurnosnih značajki koje prodavači nabrajaju dok ti guraju potpis na ugovor. "Imamo AI koji vozi, AI koji objašnjava AI koji vozi, i uskoro ćemo imati AI koji objašnjava AI koji objašnjava AI koji vozi. Potpuna transparentnost. Potpuna sigurnost." I ti sjediš tamo, u showroomu, mirišeš novi auto i misliš: "Pa, zvuči dobro." I potpišeš. I prva tri mjeseca je sve savršeno. A onda jednog dana, auto ti kaže: "Imam 23 posto šanse da ću pobrkati biciklista s granom drveta u uvjetima bočnog sunca." I ti pogledaš kroz vjetrobran i vidiš biciklista koji dolazi ususret i pomisliš: "Koji kurac bi trebao napraviti s ovom informacijom?" I auto nastavi voziti, i biciklist prođe, i sve je u redu. I ti se nasmiješiš i pomisliš kako je tehnologija napredna. I ne znaš da je auto prošli tjedan napravio istu grešku koju ti je objašnjavao da će napraviti, samo što tada nije bilo sustava koji bi ti to objasnio. I ne znaš da je netko već umro zbog te greške, negdje drugdje, u drugom autu, s drugim softverom.

Tržište ne laže. Ali marketing ume.

Izvor: news.mit.edu