Dvadeset tisuća apstrakata bila je brojka koju su organizatori ICLR-a doživljavali kao kraj svijeta

To je rast od 156 posto u jednoj godini. U industriji koja se hvali da optimizira sve — od reklamnih aukcija do rasporeda dostave — nitko nije predvidio da će vlastiti alat pojeti vlastitu kuću. ICLR, jedna od tri svete krave strojnog učenja, uz NeurIPS i ICML, upravo se guši u papiru koji je proizvela ista tehnologija koju ti papiri opisuju. Kao da je tvornica kobasica počela proizvoditi svoje inspektore, pa inspektori proizveli još kobasica, pa sad nitko ne zna što je meso, a što je celuloza.

Razumijem mehaniku. Trideset godina sam u IT-u, dvadeset i pet od toga gledam kako se znanstveni radovi pišu, recenziraju i objavljuju. Nekad je to bio zanat. Sjedneš, čitaš, razmišljaš, napišeš nešto što ima početak, sredinu i kraj, i onda čekaš šest mjeseci da ti netko kaže da si u krivu. Danas? Danas imaš model koji ti u pet minuta složi apstrakt, uvod, metodologiju, eksperimente, tablice, grafove i zaključak — sve u formatu koji zadovoljava LaTeX predložak konferencije. I onda to pošalješ. Jer zašto ne bi? Nitko te ne kažnjava za slanje. Nitko te ne pita je li tvoj doprinos stvaran. Nitko te ne pita jesi li uopće pročitao ono što si poslao.

Ako je AI toliko pametan, zašto mu treba pedeset tisuća apstrakata da bi dokazao da zna nešto novo?

Odgovor je jednostavan i ružan: ne treba mu. Treba ljudima. Konkretno, treba institucijama koje su od broja objavljenih radova napravile karijeru, plaću i hijerarhiju. U akademskom svijetu odavno ne vrijedi ono što znaš, nego ono što si potpisao. Citatni indeksi, h-indeks, broj publikacija po godini — to je valuta. I kad dobiješ alat koji tu valutu proizvodi brže nego što je možeš potrošiti, ne dobiješ revoluciju znanja. Dobiješ inflaciju. I to onu vrstu inflacije koja se ne vidi u statistici dok jednog dana ne shvatiš da tvoj novac ne vrijedi ništa.

Ovo nije problem konferencije. Ovo je problem cijelog sustava koji je od mjerenja kvalitete napravio cilj sam po sebi. ICLR nije kriv što je dobio pedeset tisuća apstrakata. ICLR je kriv što je godinama gradio sustav u kojem je brojanje zamijenilo čitanje. Recenzenti su volonterska vojska iscrpljenih doktoranada i postdoktoranada koji za čast i kavu moraju pročitati stotine radova u tjednima. To je bilo neodrživo i prije nego što je ChatGPT naučio pisati. Sad je apsurdno.

I što će se dogoditi? Ništa pametno. Uvest će se "AI detektori" koji ne rade. Uvest će se obavezno deklariranje korištenja AI-ja, koje će svi zaobići. Uvest će se dvostruko slijepa recenzija koja ne rješava ništa jer problem nije u tome tko piše, nego u tome koliko se piše. I na kraju će konferencija, umjesto da bude mjesto gdje se susreću ideje, postati mjesto gdje se susreću brojke. Kao sajam automobila gdje nitko ne gleda aute, samo broji posjetitelje.

Postoji nešto dublje i gore od same inflacije radova. To je inflacija povjerenja. Znanstvena metoda je funkcionirala zato što je pretpostavljala da onaj koji piše vjeruje u ono što piše, i da onaj koji čita može provjeriti tvrdnje. Kad između autora i teksta ubaciš stroj koji nema ni vjerovanja ni odgovornost, dobiješ tekst koji formalno zadovoljava sve kriterije, a sadržajno ne stoji ni za što. To nije znanost. To je performans znanosti. I kao svaki performans, traje dok publika ne shvati da je sve rekvizit.

A najgori dio? Ovaj isti obrazac već vidimo u drugim industrijama. Marketing timovi koji generiraju tisuće varijanti oglasa koje nitko ne čita. Pravni odjeli koji proizvode ugovore koje nitko ne razumije. Državne uprave koje pišu strategije koje nitko ne provodi. AI ne stvara problem — AI ubrzava problem koji je već bio tu. Samo ga sada vidiš u brojkama, jer brojke su jedino što AI zna proizvesti u nedogled.

Pedeset tisuća apstrakata. Ako svaki ima četiri autora, to je dvjesto tisuća autorskih potpisa. Ako svaki treći ima rezultate koji se ne mogu reproducirati, imaš šesnaest tisuća lažnih tvrdnji. Ako svaki deseti bude prihvaćen, imaš pet tisuća radova koji će ući u citatne baze i hraniti sljedeću generaciju modela koji će učiti iz njih. To nije znanost koja raste. To je znanost koja se sama pojede i onda proglasi da je sitna.

Rješenje neće doći od konferencije. Doći će od onih koji prestanu brojati. Od institucija koje ukinu h-indeks kao kriterij napredovanja. Od časopisa koji vrate rokove i recenzente koji imaju vremena čitati. Od ljudi koji shvate da je pet kvalitetnih radova vrijednije od pedeset generiranih. Ali to zahtijeva odricanje od brojke, a brojka je jedino što akademski sustav zna mjeriti. Zato se neće dogoditi. Ne zato što nitko ne zna što treba, nego zato što nitko ne želi biti prvi koji će priznati da je brojka bila laž.

Nije drago. Nije slučajno. Nije greška. Pedeset tisuća apstrakata je zrcalo. Ono što vidiš u njemu nije AI koji piše previše. To smo mi koji smo predugo vjerovali da se vrijednost može izbrojati.

Izvor: the-decoder.com