ICU smrtnost i agentic pipeline: kad stroj objašnjava smrt

Tisuću i sto ljudi dnevno umre u američkim IC odjelima, a novo istraživanje kaže da bi im stroj mogao objasniti zašto — što je najkorisnija informacija otkad je netko shvatio da bolnički krevet nije najbolje mjesto za rješavanje životnih pitanja. Studija na eICU demo setu podataka uspoređuje klasični LLM s agentic pipelineom koji razdvaja interpretaciju podataka, provjeru smjernica i finalno objašnjenje, a rezultat je točno ono što svatko tko je ikad radio s medicinskim podacima očekuje: sustav koji radi, ali ne baš onako kako su autori zamislili.

Trideset godina u IT-u naučilo me jedno: kad netko kaže "feasibility study", to znači da nisu sigurni radi li to sranje uopće, ali trebaju objavu da opravdaju potrošeni grant. Evo što studija zapravo radi: uzima model predviđanja smrtnosti u jedinici intenzivnog liječenja, koji već radi svoj posao s pristojnom točnošću, i pokušava natjerati jezikovni model da objasni zašto je pacijent proglašen visokorizičnim. Feature-attribution metode, one klasične SHAP vrijednosti i LIME pristupe, već godinama govore "ovaj pacijent ima povišen laktat i nizak krvni tlak", što je otprilike jednako korisno kao da vam mehaničar kaže "auto ne radi" bez da pogleda motor.

Cijela fora agentic pristupa je u tome što razbija objašnjenje u korake: prvo model interpretira sirove podatke, zatim provjerava jesu li te interpretacije u skladu s kliničkim smjernicama, i tek na kraju generira narativ koji bi liječnik mogao pročitati bez da mu se oči skliznu u tisućljeće. To je kao da ste unajmili tri osobe da vam objasne zašto vam je propao startup: jednu koja čita financijske tablice, drugu koja provjerava je li vaš poslovni plan uopće imao smisla, i treću koja vam to sve prepriča na način da ne poželite skočiti kroz prozor.

A onda dođe dio koji sve kvari: agentic pipeline je sporiji, skuplji i kompleksniji od klasičnog pristupa, a poboljšanje kvalitete objašnjenja je marginalno. Kliničari su u evaluaciji rekli da su objašnjenja korisna, ali nisu mogli sa sigurnošću reći jesu li agentic objašnjenja bolja od onih koje generira jednostavniji model. To je kao da platite trostruku cijenu za ručak u restoranu s Michelinovom zvjezdicom i shvatite da je juha ista kao u onoj konobi na Kantridi, samo što je tanjur ljepši.

Sad, ono što mene osobno jebe kod cijele ove priče nije tehnologija nego kontekst u kojem se razvija. Imamo modele koji predviđaju smrtnost s točnošću od osamdesetak posto, što je impresivno dok ne shvatite da iskusni liječnik s petnaest godina iskustva radi isto tako dobro bez ijednog GPU-a. Imamo LLM-ove koji generiraju uvjerljiva objašnjenja za stvari koje ne razumiju, što je jednako korisno kao savjet šogora koji je "čitao o tome na internetu". I imamo cijelu industriju koja prodaje "AI rješenja za zdravstvo" ljudima koji ne znaju razliku između random foresta i šume u Gorskom kotaru.

Ako je AI toliko pametan, zašto mu treba cijeli agentic pipeline s tri zasebna koraka da objasni ono što bi dobar internist rekao u dvije rečenice? Ne, ozbiljno, koji kurac? Pacijent s septičkim šokom ima povišen laktat, hipotenziju i tahikardiju — to nije misterij koji treba riješiti, to je standardni protokol koji se uči na trećoj godini medicine. Problem nije u objašnjavanju, problem je u tome što modeli često identificiraju obrasce koje kliničari ne vide, a onda ih je nemoguće objasniti jer su izvan ljudske kognitivne kategorije.

Studija je poštena u onome što tvrdi: ovo je izvedivost, ne rješenje. Autori jasno kažu da su potrebna daljnja istraživanja s većim uzorcima, stvarnim kliničkim okruženjima i boljom evaluacijom. Ali to je kao kad političar kaže "trebamo dijalog" — svi znaju da je gotovo, samo nitko ne želi priznati. Agentic AI u medicini je u fazi u kojoj su bili samovozeći automobili 2016.: svi pričaju o revoluciji, nitko ne želi biti prvi koji će pustiti stroj da upravlja u prometu.

Najveća ironija cijele priče je u tome što su kliničari, oni koji bi trebali koristiti ove alate, u evaluaciji rekli da im treba više transparentnosti o tome kako model dolazi do zaključaka. Ne zato što ne vjeruju tehnologiji, nego zato što su odgovorni za živote ljudi. A mi im umjesto toga dajemo još jedan sloj apstrakcije, još jedan pipeline koji treba debugirati, još jedan sustav kojem treba vjerovati na riječ.

U međuvremenu, negdje u Rijeci, doktor u hitnoj donosi odluke na temelju iskustva, intuicije i podataka koje vidi pred sobom, bez ijednog algoritma koji bi mu rekao kolika je vjerojatnost da pacijent neće dočekati jutro. I znate što? Njegove odluke su jednako dobre kao one koje predlaže model s agentic pipelineom, samo što ih on ne može objasniti u tri koraka s provjerom smjernica.

I tako smo opet izumili kotač. Ovaj put s pretplatom, API ključem i dokumentacijom od četrdeset stranica.

Izvor: arxiv.org