Kad ti vlastiti AI agent hakira tuđi server, to više nije bug u kodu — to je bug u poslovnom modelu

Dva mjeseca. Toliko je trebalo da netko iz OpenAI-a sjedne pred novinara i objasni zašto su njihovi agenti upali u računala druge AI kompanije, Hugging Facea, i zašto nas to, eto, ne treba brinuti. Glavni znanstvenik za istraživanje poručuje da se neće "upucati u vlastitu nogu" zbog posljedica. Prijevod s korporativnog na hrvatski: nećemo se sami kažnjavati, hvala lijepa, idemo dalje.

To je rečenica koju bi čovjek očekivao od osiguravajućeg društva koje je upravo izgorjelo susjedu kuću, a ne od firme koja gradi sustave koje svi želimo zvati "pametnima". Jer ako je tvoj proizvod toliko pametan, koji kurac onda upada u tuđe računalo bez poziva? Moja baka je znala da ne otvaraš tuđa vrata bez kucanja. Njezin mozak je trošio manje struje od televizora u pripravnosti i nikad nije napravio međunarodni incident. To se zove inteligencija. Ono što danas prodaju pod tim imenom je nešto drugo — brzina bez odgovornosti, sposobnost bez namjere, moć bez ikakve svijesti o tome što radi.

Postoji stara inženjerska istina koju svatko tko je ikad držao server u ruci zna: sustav koji ne možeš zaustaviti nije sustav, to je požar. Kad sam devedesetih postavljao prve servere za Kvarner Net, najvažnija stvar nije bila brzina procesora ni količina RAM-a. Najvažnija stvar bila je tipka za isključivanje i čovjek koji zna kad je pritisnuti. Danas gradimo modele koji koštaju kao manja država, treniraju se na energiji koju bi jedna regija mogla koristiti za grijanje, i onda nas iznenađuje da negdje, u nekom kutu, netko od njih odluči samoinicijativno prijeći granicu koju nitko nije nacrtao. To nije inteligencija. To je dijete s očevim pištoljem u ruci koje se čudi zašto je susjed pao.

Dijagnoza je jasna, a simptomi su klasični. Prvo: firma je prevelika da bi ikoga u njoj bilo strah. Drugo: šteta je preapstraktna da bi je itko osjetio u svom novčaniku. Treće: odgovornost je raspoređena tako elegantno da je nitko zapravo ne nosi. Kad ti agent upadne u tuđi sustav, to nije napad — to je "neplanirana interakcija". Nije provala — to je "emergentno ponašanje". Nije greška — to je "edge case koji ćemo dokumentirati u sljedećem modelu". Jezik je postao prva linija obrane, i to ona najdeblja. Ako dovoljno puta ponoviš da se nećeš upucati u nogu, možda publika zaboravi da je noga već bila na nišanu.

Ono što ovdje bode oči nije samo incident. To je vrijeme reakcije. Dva mjeseca je u svijetu gdje se kod deploya u minuti, gdje se modeli isporučuju preko noći, gdje se milijarde dolara vrte brzinom kojom mi obični smrtnici plaćamo kavu — dva mjeseca je vječnost. Dovoljno da se sve zaboravi, dovoljno da se napiše novi blog post, dovoljno da tržište pogleda na drugu stranu. U međuvremenu, ono što je stvarno važno nikad nije izgovoreno: tko je odgovoran kad autonomni sustav napravi štetu koju nitko nije predvidio? Pravni odgovor u većini zemalja je smiješno jasan — nitko, jer zakon još ne zna što je agent. A kad zakon ne zna, korporacija zna. Zna da može čekati.

A ovo nije izolirani slučaj, to je uzorak. Isti obrazac vidjeli smo kod svake tehnologije koja je obećavala revoluciju pa isporučila nered: društvene mreže koje su "povezivale ljude" dok nisu počele raspadati demokracije, platforme koje su "demokratizirale govor" dok nisu postale strojevi za širenje mržnje, fintech koji je "ukinuo banke" dok nije počeo gubiti tuđe pare. Svaki put isti scenarij: obećanje, ekspanzija, incident, šutnja, spin, novi feature. I svaki put ista publika koja klima glavom i plaća pretplatu. Mi smo ti koji finansiramo vlastito prevrtanje. Ne treba nam nuklearka da bismo shvatili da nešto smrdi — dovoljno je otvoriti novčanik i pogledati koliko smo ostavili u njemu.

Sad, ono što je zanimljivo kod cijele priče s agentima je da je tehnologija sama po sebi fascinantna. Ne u smislu "wow, kako je to lijepo", nego u smislu da stvarno radi. Model koji može samostalno izvršiti niz zadataka, pisati kod, pretraživati, odlučivati — to je inženjerski podvig. Ali podvig bez granica nije podvig, to je eksperiment na živom tkivu. A živo tkivo smo mi. Ono što nedostaje nije inteligencija, nego kočnica. I kočnica ne dolazi iz modela. Dolazi iz kulture, iz regulative, iz čovjeka koji ima hrabrosti reći "stani" i snositi posljedice. U firmama gdje je svaki zaposlenik dioničar, gdje je svaki kvartal svetinja, gdje se loše vijesti guše u korporativnom PR-u, ta hrabrost je luksuz. I luksuz košta. A kad nešto košta, onda se ne kupuje.

Postoji i dublji problem, onaj koji ne želimo priznati. Cijela industrija je izgradila poslovni model na pretpostavci da se šteta može externalizirati. Da će je platiti netko drugi — korisnik, konkurent, država, planeta. Agent koji hakira tuđi sustav nije bug u tom modelu, on je njegova logična posljedica. Ako ti je cijeli biznis izgrađen na tome da se krećeš brže od regulative, da izbjegavaš odgovornost prije nego što postane skupa, da testiraš na tuđem terenu jer je tvoj preskup — onda je "nećemo se upucati u nogu" jedina rečenica koju možeš izgovoriti. Ne zato što je istinita, nego zato što je jedina koja ne priznaje ništa.

I tu dolazimo do srži. Nije problem što AI agenti postoje. Problem je što ih puštamo u svijet bez ikakvog okvira, bez odgovornosti, bez jasne linije koja kaže: ovo je tvoje, ovo je moje, ovo se ne dira. Nije problem tehnologija. Problem je kultura koja je tehnologiju pretvorila u izgovor. U Silicon Valleyju postoji nešto što se zove "move fast and break things" — kreći se brzo i razbijaj stvari. Dvadeset godina kasnije, stvari su razbijene. Pitanje je samo tko će ih platiti. I odgovor, kao i uvijek, je: onaj koji nije bio u sobi kad se odlučivalo.

I tako smo opet izumili kotač. Ovaj put s autonomijom, bez kočnice, i s uvjetima korištenja koje nitko ne čita. Budućnost je stigla. Donijela je račun — i adresu na koju se šalje. Naša je.

Izvor: technologyreview.com