RENDER test: pamćenje modela mjeri se na pet razina, a industrija prodaje maglu.

Pet razina paketa podataka, deterministički predlošci i ljestvica koja lokalizira kada sadržaj s odgovorom ulazi u input. Zvuči kao opis tajnog protokola iz špijunskog filma, a zapravo je RENDER — benchmark kontrola koja fiksira razgovor i mijenja artefakt koji čitatelj vidi. Cijela istraživačka zajednica provela je godine gradeći evaluacije pamćenja kao da je input modela puka tehnička sitnica, sporedna stvar koju će netko drugi riješiti. Koji kurac.

U svijetu u kojem se ista povijest razgovora može prikazati kao memorijski unos, sažetak, tipkani zapis ili sirovi izvadak, pitanje nije je li model pamti — pitanje je što mu točno pokazuješ i kako to oblikuje ono što će reći. RENDER to radi tako da drži razgovor zaključanim dok mijenja samo način na koji se povijest prezentira modelu. Rezultat je ono što svatko tko je ikad radio s bazama podataka zna već trideset godina: format nije neutralan. Format je poruka. A poruka je često jedino što model uopće vidi.

Sjećam se 1996. godine, Kvarner Net, davati ljudima pristup internetu preko dial-up modema koji je škripao kao da umire. Svaki korisnik je imao istu priču — "Internet je spor", govorili su. A internet nije bio spor. Njihovo računalo, konfiguracija, browser ili način na koji su postavili TCP/IP stack — to je bilo sporo. Isto vrijedi i za LLM evaluacije danas. Model nije glup. Input je glup. Format je glup. Način na koji se povijest servira je glup. I sad netko napokon ima hrabrosti napisati papir koji to kaže naglas, bez uvijanja.

RENDER kombinira ljestvicu paketa na pet razina s determinističkim predlošcima koji aproksimiraju ono što sustavi stvarno rade u produkciji. To nije akademska vježba. To je dijagnoza pacijenta koji već godinama pokazuje simptome, a liječnici su mu pisali placebo. Kad jedan sustav renderira povijest kao sažetak, drugi kao tipkani zapis, treći kao sirovi izvadak — svi oni testiraju različite stvari i svi tvrde da testiraju pamćenje. To je kao da mjeriš temperaturu vage za kuhanje. Instrumenti su precizni. Mjere pogrešnu stvar.

Ako je AI toliko pametan, zašto mu treba pet razina renderiranja da bi istraživači shvatili da način prikaza povijesti mijenja rezultat? Moja baka je to znala bez ijednog benchmarka — kad je htjela da netko nešto zapamti, pričala je priču, ne servirajte joj suhoparni zapisnik sa sastanka. Modeli su ista stvar. Daj im dobru priču, pamte. Daj im tablicu, pamte drugačije. Daj im sažetak, pamte treće. I sve je to — pamćenje. Samo različito.

Industrija je, naravno, već krenula u svom prepoznatljivom maniru — prodavati maglu umjesto rješenja. Svaka kompanija koja ima LLM u produkciji tvrdi da njen sustav pamti kontekst bolje od konkurencije. Temeljem čega? Temeljem evaluacija koje ignoriraju upravo ono što RENDER testira. Temeljem testova koji koriste jedan format renderiranja i onda generaliziraju na sve. To je kao da kažeš da si dobar kuhar jer znaš skuhati jaje, pa onda otvoriš restoran i serviraš jaje na sve načine osim onog jednog koji znaš.

Pacijent pokazuje sve simptome kroničnog samozavaravanja s komplikacijama megalomanije. Preporučujem hitnu intervenciju realnosti, ali prognoza je loša — industrija ima previše novca da bi itko oko nje rekao istinu. RENDER je prvi korak prema triježnjenju, ali triježnjenje boli, a bol se ne prodaje dobro na konferencijama.

Ključna stvar koju RENDER donosi na stol je lokalizacija — trenutak u kojem sadržaj s odgovorom ulazi u input. To nije tehnički detalj. To je temeljno pitanje o tome što model uopće vidi kad donosi odluku. Ako je odgovor već u inputu prije nego model počne generirati, ti ne testiraš pamćenje — testiraš čitanje. Ako odgovor nije u inputu, testiraš pamćenje. Sve između je siva zona koju dosadašnje evaluacije nisu razlikovale, jer nisu htjele razlikovati.

I tu dolazimo do suštine problema koji nadilazi tehničku raspravu. Cijela evaluacijska industrija izgrađena je na premisi da možemo izmjeriti sposobnost modela u izolaciji, kao da je model neovisan o formatu inputa. RENDER dokazuje suprotno — format je sastavni dio sposobnosti. Model koji pamti iz sažetka i model koji pamti iz sirovog izvatka nisu taj model, čak i ako su težine identične. Kontekst je sve. Uvijek je bio sve. Samo smo se pretvarali da nije.

Najljepši dio ove cijele priče? RENDER ne nudi rješenje. Ne tvrdi da je riješio problem evaluacije pamćenja. On samo kaže — evo, ovo je kontrola koju trebate koristiti da biste uopće znali što mjerite. To je kao da ti netko da ravnalo i kaže: "Evo, sad bar znaš koliko je tvoj stol dugačak. Prije si nagađao." U industriji koja prodaje preciznost, to je gotovo revolucionarno. Netko napokon priznaje da je mjerio metar i pol dok je mislio da mjeri kilometar.

Tržište ne laže. Ali evaluacije itekako znaju.

Izvor: arxiv.org