Ograda od papira: francuski startup i agentični AI bez nadzora

Šezdesetak milijuna eura je cijena koju velike kompanije plaćaju svake godine za AI incidente koje su spremne priznati — što je otprilike kao da priznaš da ti je automobil proklizao na mokrom, a zapravo si ga parkirao u bazen. Brojka je smiješno niska jer nitko ne prijavljuje ono što se ne vidi, a u svijetu agentičnog AI-ja, ono što se ne vidi obično je ono što te košta posla, ugleda ili, u najgorem slučaju, parnice koja traje duže od implementacije samog sustava. I eto tu je francuski startup koji je, gle čuda, shvatio ono što su Silicijskoj dolini promakle tri godine histerije i četiri kruga financiranja: AI agenti koji samostalno donose odluke, pristupaju bazama podataka i izvršavaju transakcije bez ljudskog nadzora — to nije supermoć, to je pucanj u stopalo s ciljanom metom na čelu. I dok su američke kompanije prodavale viziju potpune autonomije, francuski tim je tiho gradio ograde. Ne one ukrasne od drveta koje ćeš preskočiti u štiklama, nego one od armiranog betona koje zaustavljaju kamion. Jer evo u čemu je kvaka: agentični AI, onaj koji ne samo da odgovara na pitanja nego i djeluje u tvoje ime, radi na principu "povjerenja". A povjerenje u softver koji je prošao trening na cijelom internetu, uključujući forum za ljubitelje kućnih ljubimaca i YouTube tutoriale o izradi bombi, otprilike je jednako mudro kao povjeriti tinejdžeru ključeve od banke zato što je položio teorijski ispit u autoškoli. Teoretski zna što je crveno svjetlo. Praktično će ga pregaziti jer je vidio mačku na cesti. Francuski startup, koji se bavi upravo tim problemom — guardrailima za AI agente — nije izmislio toplu vodu. Ono što su napravili jest da su prvi javno priznali ono što svaki developer zna, a svaki CEO ignorira: modeli haluciniraju, alati su nedosljedni, a ljudska intuicija koju smo ugradili u te sustave jednako je korisna kao kišobran od papira u uraganu. Njihov pristup je jednostavan do boli — postavi granice prije nego što agent počne djelovati, ne poslije. Ne "nadgledaj što radi", nego "definiraj što ne smije ni pokušati". Zvuči logično. Zvuči osnovno. Zvuči kao nešto što bi svaki razuman čovjek napravio prije nego pusti bilo kakav softver u produkciju. I upravo zato je to u tech industriji revolucija. Jer normalno, racionalno, sigurno — to nije ono što se prodaje. Prodaje se brzina. Agilnost. "Move fast and break things." A kad stvari puknu, kriv je netko drugi — obično korisnik, regulator ili, u ekstremnim slučajevima, sam AI koji je, eto, "sam odlučio". Ako je AI toliko pametan da samostalno upravlja lancem opskrbe, zašto mu treba poseban softver da ga spriječi da ne izbriše cijelu bazu podataka? Ako je dovoljno inteligentan da pregovara s dobavljačima, zašto mu treba ograda da ne pristane na uvjete koji bi uništili kompaniju? Zato što nije inteligentan. To je statistički model koji je vrlo dobar u prepoznavanju obrazaca i katastrofalno loš u razumijevanju konteksta. Razlika između "pošalji mail dobavljaču" i "pošalji mail dobavljaču s ponudom koja uključuje prodaju kompanije" je za model suptilna nijansa. Za tebe je kraj karijere. I upravo tu leži najveća ironija cijele priče. Industrija koja je provela posljednje dvije godine uvjeravajući svijet da je AI zreo za enterprise, da može samostalno donositi odluke i optimizirati procese, sada otkriva da su mu potrebne iste one stvari koje su programeri izmislili prije trideset godina — validacija, autorizacija, logging i revizija. Razlika je samo u tome što su prije te stvari bile smatrane dosadnim, ali obaveznim dijelom razvoja, a danas se prodaju kao "AI sigurnosni sloj" po cijeni koja bi pokrila plaće čitavog IT odjela u srednje velikoj firmi. I naravno, nitko neće priznati da je problem stvorila ista industrija koja ga sada rješava. Da su godine forsiranja "autonomije" i "samoučećih sustava" dovele do toga da su kompanije implementirale AI bez ikakvih sigurnosnih mehanizama, jer su im startupi prodali priču da je to "future-proof" i da "ne treba brige". A sad, kad su agenti počeli obavljati stvari koje nitko nije tražio — brisati podatke, slati fakture na krive adrese, mijenjati cijene na temelju krivih pretpostavki — eto rješenja. Plati dodatni sloj. Plati ogradu. Plati da ti netko kaže ono što si trebao znati prije nego si uopće počeo. Francuski startup, u svemu tome, ima jednu prednost: nisu Amerikanci. To znači da nisu zaraženi virusom "scale at all costs" koji izaziva halucinacije i financijske gubitke. Europski pristup, onaj koji uključuje regulativu, privatnost i zdrav razum, konačno je dobio svojih pet minuta u svijetu AI-ja. I dok će američke kompanije nastaviti prodavati viziju potpune autonomije, pa zatim prodavati rješenja za probleme koje je ta autonomija stvorila, Europljani grade sustave koji od početka znaju gdje su granice. To nije sexy. To nije pitch deck koji će oduševiti investitore iz Silicijske doline. To je dosadno, odgovorno i, , jedino ispravno. Jer agentični AI koji ne zna reći "ne" nije agent. To je oružje s upaljenim osiguračem koje čeka da netko slučajno okrene kundak. I kad se to dogodi — a dogodit će se, jer statistika ne laže — pitanje nije hoće li netko platiti ogradu, nego zašto je nije platio prije. Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim.

Izvor: tech.eu