Memorija u eri umjetne inteligencije košta više nego što će itko od nas ikad zaraditi, i to je...

Dok vam prodavači magle pričaju o zdravstvenim sustavima koji analiziraju milijune podataka u stvarnom vremenu i asistentima koji rješavaju tisuće korisničkih upita odjednom, iza te bajke stoji gola, ružna, jebeno skupa istina: memorija i pohrana podataka postale su najvrjednija roba na planetu, a mi se ponašamo kao da je to neočekivani trošak, a ne temelj svega što smo izgradili. Trideset godina u IT-u naučilo me jednoj stvari — kad netko kaže da je problem u infrastrukturi, obično misli da je problem u tome što nemaju pojma koliko stvari zapravo koštaju kad ih treba odraditi kako treba.

Sjećam se devedesetih, dok sam vukao kablove po Rijeci za Kvarner Net i objašnjavao ljudima zašto im treba modem od 56k kad im susjed ima 33.6, pa su me gledali kao da im prodajem struju u bakrenim cijevima. Ista logika danas vlada u svijetu AI-ja, samo s nulama više: tvrtke ulažu milijarde u modele, a onda shvate da model bez podataka u memoriji nije ništa drugo nego vrlo skup kalkulator s egom. Inferencija — taj fini izraz za "kad AI zapravo radi svoj posao" — zahtijeva infrastrukturu koja pamti kontekst, učitava težine, servira odgovore prije nego što korisnik dovrši pitanje. To nije magija. To je inženjering srama koji se krije iza svakog "pametnog" asistenta.

Pacijent pokazuje sve simptome akutnog nedostatka realizma s metastazama u marketinškim odjelima. Zdravstveni sustav koji u stvarnom vremenu analizira milijune podataka da bi ubrzao istraživanja? Divno. Ali tko plaća memorijske banke koje drže te podatke spremnima za trenutak kad ih model zatreba? Tko je izračunao cijenu latencije kad vam život ovisi o tome hoće li se dijagnoza vratiti za 200 milisekundi ili za tri sekunde? U bolnici, tri sekunde mogu biti razlika između života i smrti. U tehnologiji, tri sekunde su razlika između "radi" i "ne radi". Ljudi koji projektiraju te sustave znaju točno o čemu pričam, ali im je lakše prodati viziju nego priznati da je temelj svega — obična, dosadna, nezanimljiva memorija.

Ako je AI toliko pametan, zašto mu treba više RAM-a nego što ga ima cijeli jedan kvart u kojem su smješteni serveri koji ga pokreću? Pitam se dok gledam arhitekture koje se prodaju kao rješenja za sve, a zapravo su samo skalirane verzije onoga što smo radili i prije trideset godina — samo sad s više nula i manje strpljenja. HPC klasteri, memorijski bazeni, NVMe polja koja koštaju kao mali stan u Zagrebu — sve to stoji iza svakog "brzog" odgovora, svakog "inteligentnog" savjeta, svake "revolucionarne" značajke. A korisnik vidi samo rezultat, kao što je i trebao. Ali netko mora platiti račun za struju, hlađenje i prostor u data centru koji se širi brže nego što se gradske vlasti odlučuju o novom lokalnom planu.

Tri stotine milijardi dolara. To je projekcija potrošnje na AI infrastrukturu u narednim godinama, prema podacima koje su analitičari iznijeli u izvještajima koje ste svi vidjeli, a nitko nije pročitao do kraja. Većina tog novca neće otići na modele, ne na istraživanja, nego na memoriju i pohranu koja mora pratiti apetite modela koji se treniraju na sve većim skupovima podataka. Ironija je gotovo kirurška: industrija koja je obećala da će eliminirati dosadne, repetitivne poslove, sada zapošljava tisuće inženjera koji rade najdosadniji posao na svijetu — optimiziraju memorijske rasporede da model ne bi "zaboravio" kontekst usred razgovora. Ljudi koji su htjeli pisati poeziju s AI-jem, sad pišu kernel module za upravljanje baferima. To je napredak, valjda.

U svijetu gdje svaki token košta, gdje svaki kontekst mora živjeti u memoriji da bi model bio koherentan, gdje svaka slika mora biti pohranjena prije nego što je generirana — mi smo izgradili industriju na temelju pretpostavke da je memorija beskonačna i besplatna. Ona nije ni jedno ni drugo. Kompanije koje su shvatile ovu istinu prije drugih — one koje su počele graditi vlastite memorijske arhitekture, koje su investirale u tehnologije poput CXL-a i near-memory computinga — te kompanije će preživjeti neumitno hlađenje tržišta koje dolazi. One koje su mislile da će cloud riješiti sve probleme, čekat će račun koji stigne na kraju mjeseca i shvatiti da je "skalabilnost" samo ljepša riječ za "trošak koji raste brže od prihoda".

Naravno, postoji i ona druga strana medalje, ona koju prodavači magle vole preskočiti: sva ta infrastruktura ne rješava temeljno pitanje vrijednosti. Možete imati najbržu memoriju na svijetu, najnižu latenciju, najveće propusnosti — ali ako model koji koristi te resurse proizvodi prosječan sadržaj, imate vrlo skup način za proizvodnju osrednjosti. To je kao da kupite Ferrari da biste se vozili do pekare na kraju ulice. Brzo ćete stići, ali i dalje kupujete kruh. A cijena tog kruha upravo je porasla za 47 posto, jer netko mora platiti gorivo, održavanje i garažu za automobil koji ste kupili iz čistog egzibicionizma.

Infrastruktura koja omogućuje AI inferenciju u stvarnom vremenu nije tehnički problem. To je poslovni problem prerušen u tehničko rješenje. Tvrtke koje su shvatile da je memorija strateška prednost, a ne operativni trošak, gradit će sustave koji preživljavaju sljedeću zimu. One koje su mislile da je dovoljno kupiti najnoviji model i dodati ga na postojeću infrastrukturu, probudit će se jednog jutra s porukom od CFO-a koja počinje s "moramo razgovarati o troškovima" i završava s "možda smo previše obećali odboru". I tako smo opet izumili kotač. Ovaj put s pretplatom i uvjetima korištenja od 47 stranica.

Jer eto, u konačnici, sve se svodi na ono što smo znali i prije trideset godina, dok smo spajali prve korisnike na internet preko telefonskih linija koje su padale čim bi netko nazvao kuću: brzina je iluzija bez kapaciteta. Možete imati najbrži procesor, najpametniji model, najbolji algoritam — ali ako podaci ne stignu na vrijeme, ako memorija ne može poslužiti kontekst u trenutku kad je potreban, sve to je samo vrlo skup način da budete spori na najskuplji mogući način. AI era nije era algoritama. To je era memorije, i tko to shvati ranije, taj će jesti; tko shvati kasnije, taj će gledati kako drugi jedu. Budućnost je stigla. Donijela je račun za memoriju.

Izvor: technologyreview.com