Timsko pamćenje AI agenata: kolektivna amnezija bez odgovornosti

Pedeset i sedam posto poduzeća uhvatilo je AI agenta kako samouvjereno laže, a rješenje koje dolazi s Istoka je da ti lažovi dobiju još bolju međusobnu komunikaciju. Kao da susjedov problem nije bio što ti je pokvario auto, nego što to nije objasnio drugom susjedu koji ti je onda također pokvario auto, samo s više entuzijazma.

Tencentova Team Memory funkcionira na principu da agenti unutar tima dijele memoriju, kontekst i naučene lekcije, što zvuči kao san svakog menadžera koji je ikada pokušao uskladiti tri odjela u istoj firmi. Problem je što ta ista memorija nema mehanizam za ispravljanje pogrešaka, pa agent koji je jednom zaključio da su svi klijenti iz Osijeka potencijalni prevaranti — svoje uvjerenje prenosi na cijeli tim. Kolektivna glupost je demokratskija nego što mislite: sada je umjesto jednog agenta koji seronja, cijela četa agenata koji seronje, i svi jednako uvjereni u svoju ispravnost.

U enterprise svijetu ovo je kao da ste zaposlili sto pripravnika koji su svi završili taj tečaj, pročitali iste knjige i razvili istu, nepokolebljivu vjeru u svoje znanje. Razlika je što pripravnici bar imaju ljudsku sposobnost posumnjati u sebe nakon treće opomene, dok agent s dijeljenom memorijom sumnju tretira kao bug, ne kao signal.

Arhitektura je, naravno, tehnički impresivna. Dijeljena memorija znači da agent koji je riješio problem s fakturiranjem u Splitu ne mora ponovno izmišljati toplu vodu kad mu kolega u Zagrebu zatreba isto rješenje. U teoriji, to je učenje organizacije, ono što konzultanti prodaju pod imenom "knowledge management" već trideset godina, samo što sada umjesto PowerPoint prezentacije i ljudske volje da je pročita, imate stroj koji stvarno pamti. U praksi, to je kao da ste cijeloj firmi dali taj dnevnik i dopustili svima da pišu po njemu, ali nitko ne smije brisati. Prvi agent koji je pogrešno zaključio da je format datuma DD-MM-YYYY postaje autoritet za cijeli tim, a ispravljanje te greške zahtijeva više inženjerskog rada nego što je trebalo za izgradnju same memorije.

I tu dolazimo do točke koju svi preskaču u ovoj utrci za agentičnom budućnošću: tko je odgovoran kad tim agenata donese katastrofalnu odluku na temelju dijeljene, a pogrešne memorije? U klasičnom enterprise softveru imali ste jasnu liniju — bug je bio bug, čovjek je bio čovjek, i netko je na kraju krajeva potpisao da je testiranje prošlo. S agentima koji dijele memoriju, odgovornost se razvodnjava do te mjere da postaje tekuća, kao ona juha u menzi koja je sutra opet juha, samo s drugim povrćem i istim okusom nedefiniranog podrijetla.

Tencent, kao i ostali igrači u ovoj igri, prodaje memoriju kao rješenje za problem konteksta, onaj famoznih pedeset i sedam posto pogrešnih odgovora koji su rezultat manjka konteksta. Ali kontekst nije samo podatak, kontekst je i procjena, težina, pouzdanost — sve ono što ljudi rade nesvjesno kad procjenjuju hoće li vjerovati informaciji koju su dobili od kolege koji je jučer pobrkao termin i naručio dvjesto stolica umjesto dvjesto stolova. Dijeljena memorija pamti činjenicu, ali ne pamti kolektivno iskustvo da je Ivan iz računovodstva nepouzdan izvor za nabavu uredskog namještaja.

U Rijeci, gradu u kojem sam proveo dovoljno vremena da znam kako funkcioniraju prave zajedničke memorije, ovakav sustav ne bi preživio ni jedan tjedan. Ne zato što su ljudi gluplji ili pametniji, nego zato što je društvena memorija uvijek pregovarala sa sumnjom, a ne samo s činjenicama. Tko je ikada pokušao organizirati zajednički ručak u firmi zna da je kolektivno pamćenje "prošli put smo bili u onoj konobi i bilo je dobro" najnepouzdaniji podatak u povijesti čovječanstva, jer se nitko ne sjeća da je tada bilo dobro upravo zato što smo pojeli ribu, a ne zato što je konoba bila dobra.

No, vratimo se u enterprise svijet gdje se ove stvari shvaćaju smrtno ozbiljno, jer tamo pogrešna memorija ne znači loš ručak, nego loš poslovni potez s nultom tolerancijom na grešku. Zamislite agenta za prodaju koji je iz dijeljene memorije naučio da je najbolja strategija popust od deset posto na sve upite, jer je jednom, davno, taj pristup funkcionirao na jednom klijentu. Sada cijeli tim agenata nudi deset posto svima, a vi gubite marginu i ne znate zašto, jer svi agenti rade "točno onako kako su naučili". Kolektivno pamćenje je postalo kolektivna amnezija za kontekst, a vi ste platili skupu infrastrukturu da biste dobili savršeno dosljednu grešku.

Najzanimljivije u cijeloj priči je da nitko ne postavlja pitanje koje bi postavilo dijete: ako agenti dijele memoriju, zašto ne dijele i odgovornost? Zašto sustav ne pamti i tko je pogriješio, kada je pogriješio i kako je greška ispravljena? Zato što bi to značilo priznati da je memorija bez mehanizma za ispravljanje grešaka samo tvrdi disk s lošim sektorima, a ne pamćenje. Pamćenje podrazumijeva i zaboravljanje, i reviziju, i sposobnost da kažeš "bio sam u krivu". Sve to izostaje iz arhitekture koja je fokusirana na pohranu, a ne na pouzdanost.

I tako dobivamo sustave koji su sve pametniji u pamćenju, a sve gluplji u procjeni, jer je procjena uvijek bila ljudski posao, a strojevi su samo pojačavali ono što su ljudi htjeli vjerovati. Tencentova Team Memory je tehnički vrhunac, ali konceptualno, to je još jedan korak prema svijetu u kojem će vam AI agenti s povjerenjem reći da je more kod Opatije toplo u veljači, jer je netko jednom, u dijeljenoj memoriji, zabilježio da je temperatura zraka bila ugodna. A vi ćete, na temelju te informacije, otići kupati se i smrznuti. Agent neće osjetiti hladnoću. Agent će samo zapamtiti da ste se žalili, i prenijeti to sljedećem agentu, koji će to protumačiti kao potvrdu da je more doista toplo.

Da netko pita mene, a pitaju me rijetko, rekao bih da je dijeljena memorija bez upravljanja greškama kao brod bez kormilara — plovi, ali ga struja nosi tamo gdje ona hoće, a ne tamo gdje vi želite. I svi na njemu imaju isto pamćenje o tome kako je trebalo skrenuti lijevo, ali nitko se ne sjeća tko je držao kormilo. Ako morate birati između agenata koji pamte sve i agenata koji ponekad pogriješe ali znaju priznati — birajte ove druge. Povjerenje se ne gradi na savršenom pamćenju, nego na sposobnosti da se pogreška ispravi prije nego što postane kolektivna istina.

Izvor: venturebeat.com