GPT-6 Astra i sedam od sto: kad robot nauči složiti papir, a ne zna gdje je papir

U svijetu gdje se svaki tjedan objavljuje da smo tri mjeseca od singularnosti, jedan benchmark je uspio nešto što ni jedan press release nije: rekao je istinu koju nitko nije htio čuti. GPT-6 Astra, ponos i dika jedne kompanije koja se više ne zove po misiji nego po ambiciji, postigao je sedam od sto zadataka na StationeryBench testu. Sedam. Od sto. To je postotak koji u osnovnoj školi znači dvojku, u poreznoj prijavi znači problem, a u marketingu znači "step change".

A konkurencija? MolmoAct2 nije uspio dovršiti ni jedan jedini zadatak. Nula od sto. Dakle, imamo situaciju u kojoj je pobjednik onaj koji je osvojio sedam posto, a gubitnik onaj koji je osvojio ništa, i svi skupa slavimo kao da smo upravo poslali čovjeka na Mars. To je kao da na Olimpijadi u trci na sto metara pobijedi natjecatelj koji je stigao do pedeset metara, dok je drugi ostao na startu, i onda novinari napišu da je "došlo do promjene paradigme u brzini trčanja".

Čestitam. Stigli ste do pola. Jebeno impresivno.

Ono što ovaj benchmark otkriva nije snaga modela. Otkriva slabost cijele industrije koja je toliko zaokupljena mjerenjem da je zaboravila što mjeri. StationeryBench, sudeći po imenu, testira sposobnost robota da barata predmetima s radnog stola — papir, olovka, možda spajalica, ako su ambiciozni. Dvije robotske ruke, sto zadataka, i AI koji je uspio riješiti sedam. Sedam zadataka. To je razina koordinacije koju dijete od četiri godine postigne dok se dosađuje u čekaonici kod zubara.

I sad zamislite pitch deck koji iz ovoga izvlači "step change". Zamislite investitora koji to čita i ne pita se zašto je "korak" jedini korak koji su uspjeli napraviti. Zamislite novinara koji napiše "major gains in spatial understanding" za model koji je pao na devedeset tri posto zadataka. To nije novinarstvo. To je PR odjel koji je naučio pisati naslove, a ne provjeravati brojke.

Ali nemojmo se zavaravati — problem nije u jednoj kompaniji. Problem je u tome što je cijela industrija umjetne inteligencije organizirana kao natjecanje u tome tko će uvjerljivije objasniti zašto njegov proizvod još nije gotov. Prije dvadeset godina, kad sam vodio ISP i kad je svaki megabajt propusnosti bio borba, postojalo je pravilo: ako ne radi, ne prodaješ. Ako pukne veza u tri ujutro, ti ustaješ i popravljaš je, i nitko ti ne piše "step change" u priopćenju. Kupac ne plaća potencijal. Kupac plaća ono što radi.

Ovi ljudi su izmislili ekonomiju u kojoj se plaća ono što bi moglo raditi. Ono što će raditi. Ono što će, ako bog da i ako se poklopi pet faktora koje nitko ne kontrolira, možda raditi za pet godina. I onda kad ne radi, to nije neuspjeh — to je "early benchmark".

Ako je AI toliko pametan, zašto mu treba nuklearka i pet godina da nauči razliku između papira i olovke? Moja baka je znala složiti račun, zapakirati ga i odnijeti na poštu, a nikad nije trebala farmu procesora u Iowi da bi to izvela. Znala je i gdje je papir, i gdje je olovka, i gdje je pošta, i nije joj trebao benchmark da to dokaže.

Postoji nešto gotovo dirljivo u načinu na koji industrija svaki put iznova otkriva da je stvarni svijet teži od simulacije. Model koji je pojeo cijeli internet i naučio pisati sonete na dvanaest jezika zapne na tome da dvije ruke istovremeno drže komad papira i olovku. Jer papir se savija. Olovka klizi. Stol nije savršeno ravan. Svjetlo se mijenja. I nitko od tih milijardi parametara nije nikad osjetio kako je to kad ti ispadne spajalica između prstiju.

To je razlika između znanja i iskustva, i cijela ta industrija još je ne razumije. Mogu generirati tekst o tome kako se drži olovka. Ne mogu držati olovku. I to je, na nekoj razini, cijela priča o modernoj umjetnoj inteligenciji ispričana u jednoj rečenici.

Sada, ne treba biti nepravedan. Sedam od sto je napredak. Prije godinu dana bilo je nula od sto, ili jedan od sto, ili model nije ni postojao. Smjer je dobar. Ali smjer nije rezultat, a industrija je odlučila da je smjer dovoljan. To je kao da ti automehaničar vrati auto bez kočnica i kaže: "Ali pogledaj kako smo blizu! Prošli mjesec nismo imali ni volan."

Tehnologija koja radi sedam posto zadataka nije tehnologija. To je demonstracija. Demonstrations su za konferencije i YouTube thumbnailove s otvorenim ustima i crvenim strelicama. Proizvodi su za ljude koji od toga žive. I dok god industrija ne nauči razlikovati ta dva, imat ćemo beskonačan ciklus: objava, hype, benchmark, razočaranje, pa nova objava u kojoj se tvrdi da je prethodno razočaranje zapravo bilo "učenje".

Najgori dio nije ni sedam posto. Najgori dio je što će za šest mjeseci izaći model s dvanaest posto, i svi će reći da je to revolucija. Pa model s dvadeset, i to će biti "transformacija". Pa s pedeset, i to će biti "singularnost". A nitko se neće sjetiti da je put od nule do pedeset posto trajao pet godina i koštao više od godišnjeg proračuna desetak manjih država, samo zato što je netko odlučio da je bolje demonstrirati budućnost nego graditi sadašnjost.

Jer graditi sadašnjost je dosadno. Sadašnjost ne dobiva naslove. Sadašnjost je popraviti vezu u tri ujutro, dostaviti pošiljku na vrijeme, napisati kod koji se ne ruši u produkciji. Sadašnjost je sedam od sto zadataka, a ne sto posto, i nitko ne piše press release o tome.

A industrija koja ne zna prodati sadašnjost prodaje budućnost. Uvijek. Jer budućnost nema benchmark. Budućnost ne možeš testirati. Budućnost ne možeš oboriti. Budućnost je jedini proizvod koji nikad ne kasni, jer nikad ni ne stigne.

I tako dobivamo modele koji pišu filozofske eseje, ali ne mogu složiti papir. Modele koji rješavaju matematičke olimpijade, ali ne mogu otvoriti vrata. Modele koji su pročitali sve što je čovječanstvo napisalo, a ne znaju gdje je olovka. To nije inteligencija. To je enciklopedija s nogama, i to nespretnim.

Ako je ovo step change, pitam se kako izgleda korak. Vjerojatno kao pad. Jer sedam posto je bliže nuli nego stotini, i svaka čestita osoba to zna. Samo što čestite osobe ne pišu priopćenja za javnost.

Izvor: the-decoder.com