Zakonski tekstovi koje strojevi čitaju prije ljudi, s greškom od četrdeset tri posto u brojčanim...

Dvojica neovisno napisanih parsera, dva potpuno različita komada softvera, sjela su nad statute Missourija i razišla se u pitanju postoji li broj u rečenici ili ne postoji — u četrdeset tri posto slučajeva. Četrdeset. Tri. Posto. To nije šum, to nije rubni slučaj, to je jebena rupa u podu kroz koju propada cijela ideja da strojevi mogu čitati zakone bolje od ljudi koji su ih pisali.

A onda su autori tog rada napravili nešto što u svijetu gdje svi prodaju maglu o umjetnoj inteligenciji zvuči kao psovka na svečanoj večeri: umjesto da tvrde da je problem riješen, pitali su što od formalne logike uopće preživi takvu buku. Sagradili su pasivni certifikat preživljavanja za Duquenne-Guiguesovu bazu implikacija iz strojno ekstrahiranih zakonskih konteksta. Drugim riječima, umjesto da glume da je sve u redu, izmjerili su koliko je sranje stvarno duboko.

Nitko normalan ne bi ovo čitao da nije u pitanju nešto dublje od tehničke rasprave o parserima. Ovo je priča o povjerenju — o tome kako smo odlučili da će algoritmi odlučivati o našim pravima prije nego što ih ljudi uopće pročitaju, i kako nitko nije pitao što se događa kad dva algoritma pročitaju isti zakon i ne slože se oko toga postoji li broj koji određuje tko ima pravo na što.

Pedeset godina bavljenja ovim poslom naučilo me jednoj stvari koju bih volio da više ljudi razumije: stroj nije problem. Stroj je uvijek bio problem. Problem je bio što smo ljudima koji ne razumiju strojeve prodali priču da su strojevi objektivni, da su iznad ljudskih grešaka, da su ono što dobiješ kad odvojiš emocije od logike. A onda dođe ovakav rad i pokaže da dva stroja, svaki savršeno logičan u svojim pretpostavkama, ne mogu uskladiti svoja čitanja ni oko tako jednostavne stvari kao što je broj u rečenici.

Evo što to znači u praksi: negdje u Americi, negdje u Europi, negdje u Hrvatskoj, postoje sustavi koji automatski obrađuju zakonske tekstove. Porezni propisi, natječajna dokumentacija, ugovori o javnoj nabavi — sve to prolazi kroz strojnu ekstrakciju prije nego što to itko od ljudi pročita. Ako je greška od četrdeset tri posto u brojčanim pragovima normalna pojava, koliko je ljudi prošle godine izgubilo pravo na subvenciju, poticaj ili povlasticu jer je neki parser promašio broj koji odlučuje o tome?

Najljepši dio ove priče je onaj o certifikatu preživljavanja. Zamisli da ti netko kaže da ti je kuća možda izgorjela, ali ne brini — donijeli smo ti certifikat da su zidovi još uvijek tu. To je ono što rade autori ovog rada. Oni ne tvrde da je problem riješen, ne nude čarobni alat koji će sve popraviti. Oni kažu: evo, izmjerili smo koliko logike preživi kad je strojevi počnu mljeti, i to je pasivni certifikat — dokument koji ti ne govori što je istina, nego što je preživjelo.

I tu dolazimo do pitanja koje nitko ne postavlja jer svi gledaju u grafove o rastu produktivnosti: ako je umjetna inteligencija toliko pametna, zašto joj treba certifikat da bi znala što je preživjelo njezino vlastito čitanje? Ako je toliko pouzdana, zašto mjerimo šum kao da je to normalno? Možda je problem u tome što smo prodali ideju da su strojevi precizni, a ispostavilo se da su oni samo brzi — brzi u pogrešnom čitanju, brzi u repliciranju svojih grešaka na tisuću primjeraka, brzi u stvaranju iluzije pouzdanosti.

U mojim danima kad sam gradio mreže, naučio sam da se pouzdanost ne mjeri po tome koliko dobro sustav radi kad je sve u redu, nego po tome što se dogodi kad dva čvora daju kontradiktorne informacije. Ista stvar vrijedi i ovdje. Dok ne budeš imao dva nezavisna parsera koji se slažu u sto posto slučajeva, nemaš pravo tvrditi da strojno čitanje zakona funkcionira. Imaš samo pravo tvrditi da funkcionira dovoljno dobro dok netko ne primijeti.

Ovo nije tehnička rasprava o formalnoj logici. Ovo je rasprava o tome koliko smo spremni vjerovati u stvari koje ne razumijemo, i koliko smo spremni platiti za to povjerenje. Ako je cijena tog povjerenja četrdeset tri posto greške u brojčanim pragovima zakonskih tekstova, onda je pitanje jednostavno: koji kurac još radimo s tim sustavima, i zašto nitko ne traži da se sve što stroj pročita, čovjek pročita još jednom prije nego što postane pravno obvezujuće?

Certifikat preživljavanja je koristan dokument. Govori ti koliko je šteta preživjela, što je ostalo netaknuto, što se može spasiti. Ali nijedan certifikat neće vratiti ono što je izgubljeno u buci. Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim — a ovo je očekivano već godinama. Samo što smo svi gledali u drugu stranu.

Izvor: arxiv.org