AI u bolnicama: lijek koji ne znamo djeluje li

Pedeset milijardi dolara uloženo je u zdravstvenu umjetnu inteligenciju u posljednjih pet godina, a jedino što sa sigurnošću znamo jest da ne znamo pomaže li pacijentima. Nije loš povrat na investiciju za industriju koja je uvjerila bolnice, vlade i porezne obveznike da je budućnost medicine stigla — samo što je netko zaboravio ponijeti dokaze.

Bolnički sustavi diljem svijeta instaliraju AI alate tempom koji podsjeća na ludnicu. Algoritmi čitaju rendgenske snimke, pretražuju povijesti bolesti, predviđaju koji pacijenti trebaju terapiju i pišu liječničke bilješke. Zvuči kao znanstvena fantastika koja je postala stvarnost. Osim što je stvarnost malo drugačija: studije koje su provele te iste kompanije često nemaju kontrolne grupe, veličine uzoraka su smiješno male, a metrika uspjeha definirana je tako da AI uvijek ispadne heroj. Kao da testiraš novi lijek tako što pitaš proizvođača je li dobar.

Koji kurac se dogodio s medicinom utemeljenom na dokazima? To je bio standard stoljeće i pol — randomizirane kontrolirane studije, dvostruko slijepo testiranje, recenzija od strane kolega. Onda su došle tehnološke kompanije s pitch deckovima i rekle: "Ma kakvi dokazi, ovo je revolucija, nećemo čekati deset godina da dokažemo da radi." I bolnice su kupile. Jer kad direktor bolnice vidi prezentaciju u kojoj AI detektira rak pluća sa 99% točnosti, a konkurentska bolnica već ima sustav, ne pita za metodologiju. Pita: "Koliko košta i kad može početi?"

Problem nije u tehnologiji. Algoritmi su, u većini slučajeva, prilično dobri u onome što rade. Problem je u tome što "dobar u laboratoriju" i "dobar u stvarnom svijetu" nije isto. Algoritam treniran na rendgenima iz prestižne američke klinike ne radi isto u riječkoj bolnici na aparatu starom petnaest godina. Algoritam koji predviđa sepsu na temelju podataka iz jedne bolnice ne zna da druga bolnica koristi drugačije laboratorijske vrijednosti. I eto ti ga: milijun eura vrijedan softver koji u praksi radi kao skupi kalkulator.

Najljepši dio ove priče je apsolutni nedostatak transparentnosti. Kompanije koje prodaju AI alate često ne otkrivaju na kojim su podacima trenirani, koje su greške radili u testiranju ili koliko često algoritam pogriješi u stvarnom radu. Poslovna tajna, kažu. Kao da je lijek koji prodaješ bolnici poslovna tajna. Zamisli da farmaceutska kompanija odbije reći koje su nuspojave jer je to "intelektualno vlasništvo". Zatvorili bi ih taj dan.

A liječnici? Oni su u još gorem položaju. Algoritam im kaže da pacijent ima rak, oni provjere i vide da nema. Ali algoritam je uvijek u pravu u očima administracije jer je kupljen za puno novca. Ili obrnuto: algoritam kaže da je sve u redu, liječnik posumnja, napravi dodatne pretrage i otkrije tumor. Tko je platio te dodatne pretrage? Bolnica. Koja sad sumnja treba li vjerovati liječniku ili stroju. Sjajan način za podići moral medicinskog osoblja.

Postoji i fini začin koji se zove regulatory capture. Regulatori koji bi trebali provjeravati ove alate često dolaze iz iste industrije koju bi trebali nadzirati, nemaju dovoljno stručnog znanja da razumiju što algoritam zapravo radi, ili su jednostavno preopterećeni jer se broj AI alata u zdravstvu udvostručuje svake godine. Rezultat je divlji zapad u kojem se alati stavljaju u upotrebu prije nego što je itko ozbiljno provjerio rade li.

Najgore od svega je što bi AI mogao stvarno pomoći. U dijagnostici, u otkrivanju rijetkih bolesti, u personalizaciji terapije, u smanjenju administrativnog opterećenja liječnika. Potencijal je ogroman. Ali umjesto da se uvodi pažljivo, s transparentnim studijama, s neovisnom verifikacijom, s jasnim metrikama uspjeha i neuspjeha — uvodi se kao da je riječ o novom filteru za Instagram. Instaliraj i vidi što će biti.

Ako je AI toliko pametan, zašto mu treba milijardu dolara marketinga da uvjeri ljude da radi ono što tvrdi da radi? Jednostavan test: neka svaka kompanija koja prodaje AI alat u zdravstvu objavi rezultate neovisne randomizirane studije s pacijentima. Ne studije koju su sami financirali, ne studije na sintetičkim podacima, ne "pilot projekte" u tri bolnice. Prave studije. Dok ne objave, sve ostalo je prodaja magle.

Medicinska industrija naučila je na teži način da lijekovi bez dokaza ubijaju. Sad uči istu lekciju s algoritmima. Samo što ovaj put žrtve nisu pacijenti koji su uzeli neprovjereni lijek — žrtve su pacijenti kojima je neprovjereni algoritam pogrešno dijagnosticirao rak, ili ga nije dijagnosticirao, ili ih je stavio na pogrešnu terapiju. A kompanije koje su prodale te alate već rade na sljedećoj verziji, s još više marketinga, još manje dokaza.

Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim.

Izvor: technologyreview.com