MeMo memorija: 26% bolje bez retreninga

Dvadeset i šest posto. To je brojka kojom su istraživači odlučili prodati ideju da su konačno riješili problem koji muči svakog CTO-a koji je ikad pokušao ubaciti novu informaciju u veliki jezični model, a da pritom ne proda bubreg da plati račun za GPU. Dvadeset i šest posto bolje na benchmarku, kažu. Usporedili su svoje rješenje s klasičnim finetuningom i ustanovili da je njihov pristup — odvojena memorijska jedinica koja živi pokraj glavnog modela — efikasniji, jeftiniji i, što je najvažnije, ne zahtijeva ponovno treniranje cijelog sustava.

Zvuči kao dobra vijest. I jest, s jedne strane. S druge strane, činjenica da je 2025. godina, da smo potrošili milijarde dolara na istraživanje, da imamo modele koji prolaze medicinske ispite s više od 90 posto točnosti, ali i dalje ne možemo jednostavno ubaciti novi dokument u sustav bez da se cijela stvar ne raspiše kao da je netko pomaknuo statuu u sobi — to je, blago rečeno, jebeno poražavajuće.

MeMo, kako su ga krstili, nije ništa revolucionarno u smislu fundamentalne fizike. To je pametni trik: uzmeš manji model, specijaliziraš ga isključivo za skladištenje novih informacija, i povežeš ga s glavnim modelom preko mehanizma pažnje. Glavni model ostaje netaknut, ne diže se temperatura, ne troši se struja kao da rudariš bitcoin. Mali model uči novu stvar, veliki model ostaje ono što jest — ogromna, nepomična, skupo plaćena baza znanja koja se ne miče.

Ako ovo zvuči kao nešto što je trebalo postojati prije tri godine, nisi u krivu. Jer jest. Ideja da se znanje odvoji od modela i pohrani negdje drugdje stara je koliko i samo polje — prvi radovi o memorijskim mrežama datiraju iz ranih 2000-ih. Ono što je novo jest da je netko napokon spojio točkice na način koji funkcionira u praksi, s konkretnim brojkama i benchmarkom koji pokazuje 26 posto poboljšanja.

Ali hajmo biti iskreni: problem koji MeMo rješava nije tehnički. Tehnički problem je riješen prije nego što je itko izgovorio riječ "transformer". Problem je poslovni model. Kompanije koje prodaju velike jezične modele ne žele da ih možeš jednostavno nadograditi — žele da kupuješ nove verzije, da plaćaš pretplatu, da svake godine izdvajaš sedam cifara za "napredniji model" koji je zapravo taj model s malo više podataka i malo boljim promptom.

Zato su retrening i finetuning ostali standard — jer su skupi, jer su spori, jer tjeraju kompanije da ostanu na istom dobavljaču. Nije to greška u dizajnu. To je značajka. Dizajnirano je da boli. Dizajnirano je da košta. Dizajnirano je da ne možeš jednostavno uzeti svoj model i dodati mu novo znanje bez da platiš punu cijenu.

MeMo je, u tom kontekstu, udarac u poslovni model cijele industrije. Jer omogućuje ono što bi svaki CTO želio: uzmeš model koji već imaš, dodaš mu novu memorijsku jedinicu za specifičnu domenu — medicinske zapise, pravne dokumente, interne procedure — i ne dižeš cijeli sustav iz temelja. Trošak je mali. Vrijeme je kratko. Rezultat je mjerljiv.

Naravno, postoji caka. Uvijek postoji caka. MeMo je objavljen kao akademski rad, što znači da će trebati još najmanje godinu dana da netko napravi produkcijsku verziju koja radi na stvarnim podacima, s stvarnim opterećenjem, u stvarnom svijetu gdje korisnici ne šalju lijepe, čiste upite nego one glupe, nejasne, s tipfelerima i bez konteksta. Akademski radovi su super za dokazivanje koncepta. Za produkciju su ono što je maketa mosta za stvarni promet — lijepo izgleda, ali ne bih se vozio preko nje.

I tu dolazimo do onog pravog problema: industrija nema problem s tehnologijom. Ima problem s povjerenjem. Svaki put kad netko objavi da je riješio problem nadogradnje modela, ispostavi se da rješenje radi na tri specifična benchmarka, na dva modela, u jednoj konfiguraciji. Čim ga pokušaš primijeniti na nešto drugo — pukne. Koji kurac, pa mi još uvijek imamo probleme s time da ChatGPT točno izračuna koliko je 2+2 kad je umoran, a ti mi pričaš o modularnoj memoriji koja će riješiti sve probleme enterprise AI-ja.

Ali nemojmo biti potpuni pesimisti. MeMo je dobar smjer. Ideja da se znanje pohrani odvojeno od modela, da se model ne dira, da se nadogradnja svodi na dodavanje malog specijaliziranog modula — to je jedini način na koji će AI ikad postati ozbiljan alat u enterpriseu. Jer enterprise ne može čekati šest mjeseci da se model ponovno istrenira. Enterprise ne može platiti milijun dolara za svaku nadogradnju. Enterprise treba nešto što radi danas, ne sljedeće godine.

I eto ga. MeMo je korak u tom smjeru. Mali korak, akademski, s 26 posto poboljšanja na benchmarku. Dovoljno da se investitori uzbude. Dovoljno da se napiše članak. Dovoljno da svaki CTO u Hrvatskoj koji se bavi AI-jem pošalje link svojem timu i kaže "pogledajte ovo, možda bi mogli implementirati".

A hoće li itko od njih to stvarno implementirati? Pa, otprilike isto koliko i obećanja da će "sljedeće godine" sve biti drugačije.

Izvor: venturebeat.com