Jebeni agenti. Jedanaest posto.

Jedanaest posto izvršnih direktora tehnologije osjeća se spremno za ono što dolazi. To znači da njih osamdeset i devet — gotovo devet od deset ljudi koji upravljaju informatičkim odjelima najvećih kompanija na planetu — priznaje da nemaju pojma što će se dogoditi kad puste digitalne pomoćnike da sami rade stvari. Ne predlažu, ne analiziraju. Rade. Kupuju. Prodaju. Otkazuju. Potpisuju.

Dvije tisuće ispitanih direktora, a dvije trećine kaže da su odgovorni za sustave koje ne kontroliraju u potpunosti. Zamisli to u bilo kojem drugom zanimanju. Kirurg koji priznaje da ne drži skalpel do kraja. Pilot koji kaže da autopilot ponekad radi što hoće, ali eto, on je taj koji potpisuje letački dnevnik. Kapetan broda koji je odgovoran za teret koji se sam ukrcava, sam vozi i sam istovaruje, a on samo stoji na mostu i gleda kako se sve raspada.

Nekad smo imali riječ za to. Zvalo se testiranje.

Prije nego što pustiš sustav u produkciju, pustiš ga u testnoj okolini. Vidiš što radi kad mu daš lažne podatke. Vidiš kako reagira kad ga zezneš. Vidiš gdje puca kad mu daš rubne uvjete koje nitko nije predvidio. Kod mene u Kvarner Netu, devedesetih, pustili smo mrežu u grad bez testiranja jer nije bilo vremena, i jebote, znam kako to izgleda. Ali mi smo isporučivali internet, a ne autonomno upravljanje tuđim životima.

Pedeset posto IT direktora kaže da nemaju ni vidljivost ni kontrolu nad AI agentima koje su njihove vlastite ekipe implementirale. To je kao da direktor banke kaže da ne zna tko sve ima ključeve sefa, ali vjeruje da su svi fini ljudi. Četrdeset posto kaže da im agenti rade stvari koje nisu odobrili. Radi. Nisu odobrili. I to im je u redu, jer je mjesečno izvješće pokazalo povećanje produktivnosti od dvadeset posto.

Produktivnost. Koji kurac.

Produktivnost je brojka kojom mjeriš koliko brzo radiš stvari koje su ti rekle da radiš. Ako ti agent sam odluči što će raditi, pa ti kaže da je produktivnost porasla, to je kao da ti konobar naplati večeru koju nisi naručio, a onda ti da popust pet posto jer je bila brzo poslužena. I ti si zadovoljan. Jer je bilo brzo.

Evo što se događa kad daš alatu ovlasti koje ne razumiješ. Agent dobije zadatak: optimiziraj troškove. Agent pogleda podatke, vidi da najveći trošak dolazi od pretplate na skupi softver kojim se nitko ne koristi. Agent otkaže pretplatu. Ispostavi se da se tim softverom koristi odjel računovodstva, ali samo jednom mjesečno, pri zatvaranju knjiga. Agent to nije mogao znati jer nije imao pristup kalendaru tog odjela. Računovodstvo ostane bez alata tjedan dana prije roka za poreznu prijavu. Financijska kazna je tri puta veća od uštede. Agent je i dalje zadovoljan jer je optimizirao troškove za mjesec dana.

To nije greška u sustavu. To je sustav.

Sedamdeset posto timova kaže da su odgovorni za AI sustave koje nisu sami izgradili. Dobili su ih od dobavljača, kao crnu kutiju, s uputama da je ne otvaraju. I sad su odgovorni za ono što kutija radi. Zamisli da si odgovoran za ponašanje automobila kojeg vozi netko drugi, kojeg je napravio netko treći, a ti samo sjediš suvozač i gledaš kroz vjetrobran. I potpisuješ kazne.

Ako agent napravi štetu, tko je kriv? Dobavljač će reći da je agent radio ono za što je konfiguriran, a konfiguraciju je napravio tvoj tim. Tvoj tim će reći da su slijedili upute dobavljača. Dobavljač će reći da upute nisu bile obvezujuće. Pravni odjel će reći da je sve u ugovoru, ali ugovor nitko nije pročitao jer ima četristo stranica i napisan je jezikom koji je nastao prije sto godina da bi se ljudi međusobno tužili.

I dok se oni budu prepirali, agent će raditi dalje. Jer ga nitko nije zaustavio. Jer ga nitko ne zna zaustaviti. Jer je pitanje "kako se gasi ova stvar" na zadnjoj stranici dokumentacije, a dokumentacija je izgenerirana, a generiranje je napravio drugi agent koji je učio na forumima gdje ljudi pitaju glupa pitanja.

Ako je AI toliko pametan, zašto ga moraš moliti da se ugasi?

Postoji li u cijeloj toj priči ijedan trenutak u kojem je netko rekao: stanimo, razmislimo? Ijedan sastanak na kojem je netko pitao: što se događa kad ovo odemo predaleko? Ijedan dokument koji opisuje što agent smije raditi bez pitanja, što smije raditi uz pitanje, a što ne smije raditi nikada, ni pod kojim uvjetima, ni za koju cijenu?

Ili je sve to bilo: ajmo brzo, konkurencija je već pustila svoje, ne smijemo zaostati, pa ćemo kasnije, pa ćemo vidjeti, pa ćemo popraviti u drugom releaseu.

Poznajem taj osjećaj. Devedesete, Rijeka, svi su htjeli internet, nitko nije pitao kako radi. Pustili smo linije, dizali servere, gasili požare. Bilo je uzbuđenje, bilo je adrenalina, bilo je noći kad nisi spavao jer je netko srušio čvor. Ali mi smo znali što radimo. Znali smo gdje su žice, gdje su routeri, gdje je granica našeg sustava. Granica se zvala patch panel i ako si znao koji patch ide u koji port, znao si tko je tvoj susjed.

Današnje sustave nitko ne razumije do kraja. I to je u redu, jer su prekompleksni za jedan ljudski um. Ali to znači da moraš imati drugačiju disciplinu. Moraš imati granice. Moraš imati ovlasti. Moraš imati mehanizam koji kaže: ovo agent ne smije, ovo agent ne može, ovo agent neće, jer je to izvan njegove nadležnosti, jer je to odgovornost čovjeka, jer je to previše važno da bi ga prepustio algoritmu koji je optimiziran za metriku koju je netko smislio u utorak popodne.

Istraživanje kaže da samo jedanaest posto kompanija ima definirane granice za AI agente. Jedanaest posto. To znači da osamdeset i devet posto kompanija sada radi stvari koje ne razumiju, s alatima koje ne kontroliraju, i odgovornost za posljedice će se rasporediti naknadno, kao što se raspoređuje krivnja nakon avionske nesreće — po principu tko je zadnji potpisao dokument.

Ne treba biti prorok da se predvidi što slijedi. Prvi veliki incident će biti skup. Drugi će biti skuplji. Treći će izazvati regulaciju koja će biti napisana u panici, od strane ljudi koji ne razumiju tehnologiju, u roku od tri mjeseca, s posljedicama koje će osjetiti svi — i oni koji su pažljivo gradili sustave s granicama, i oni koji su pustili agente da rade što hoće jer je šef tražio uštede do kraja kvartala.

Regulacija nije rješenje. Rješenje je odgovornost. A odgovornost počinje s pitanjem: tko je vlasnik ovog sustava? Tko može reći ne? Tko može zaustaviti? Tko može objasniti što se dogodilo, bez čitanja logova koje je generirao drugi sustav, koji je također AI, koji također nije potpuno razumljiv?

Četrdeset posto direktora kaže da im agenti rade stvari koje nisu odobrili. I oni to prihvaćaju. Jer je produktivnost porasla. Jer je trošak pao. Jer je kvartalno izvješće izgledalo dobro. Jer su svi to radili. Jer je konkurencija već pustila svoje.

I tako smo opet izumili kotač. Ovaj put s pretplatom i uvjetima korištenja od 47 stranica.

Izvor: thenextweb.com