vLLM 0.19.1: Kako je virtualna memorija iz 1960-ih spasila ekonomiju AI...

Šestdeset posto. To je koliko je GPU memorija u prosjeku stajala prazna dok su stari servisni alati za LLM-ove pokušavali generirati tekst, a KV cache se fragmentirao kao staklo od udarca. Šezdeset posto beskorisnog, skupocjenog prostora koji se plaća po satu, dok se čeka sljedeći token. Apsurd je toliko golem da zvuči kao šala, osim što je račun za tu šalu dosad iznosio vjerojatno više desetaka milijardi dolara. Cijela industrija umjetne inteligencije, koja se hvali kako će preoblikovati čovječanstvo, nije mogla učinkovito upravljati vlastitim sjećanjem. Dok je vLLM s PagedAttentionom taj otpad sveo na manje od četiri posto. To nije tehnološki napredak. To je financijski trijumf. Jer u produkciji, gdje se svaki token naplaćuje, ekonomija nije u modelu. Ekonomija je u memoriji.

Virtualna memorija. Koncept starijeg od većine ljudi koji danas pišu kod za nju. Izmišljena da bi stari, sporiji RAM mogao lažirati da ima više prostora koristeći disk. Genijalno jednostavno. I onda su, desetljećima kasnije, ljudi koji treniraju modele od tisuću milijardi parametara shvatili da imaju identičan problem: KV cache, taj golemi privremeni zapis svih prethodnih tokena koji je nužan za autoregresivno generiranje, jednostavno ne stane u VRAM. Stari pristup bio je kao da pokušavaš parkirati kamion u garažu za bicikla: alociraš maksimalni mogući prostor unaprijed i moliš se da ćeš ga iskoristiti. Rezultat? Ogromna fragmentacija, memorija koja stoji prazna, a zahtjevi koji čekaju u redu. PagedAttention je rekao: a zašto ne bismo KV cache tretirali kao virtualnu memoriju? Podijelimo ga u stranice, stavimo u RAM (ili čak na disk) kad zatreba, a u VRAM držimo samo ono što je aktivno. Koji kurac. Je li to stvarno bilo tako teško smisliti? Očito je, jer je cijela industrija godinama spaljivala novac na lošu arhitekturu.

Onda dođe continuous batching. Da to objasnim na jeziku koji čak i VC investitor može razumjeti: stari način je restoran s fiksnim stolovima. Svaki zahtjev dobije svoj stol (GPU instance) i sjedne za njega. Ako naruči samo salatu i ode za pet minuta, stol ostaje prazan, a ljudi čekaju u redu. vLLM je flexible seating u vrhunskom baru. Nema rezerviranih mjesta. Ako ti završiš s koktelom, konobar odmah dovede sljedećeg gosta na tvoj šank. GPU se nikada ne gasi, nikada ne čeka. Tokeni teku kao tekućina. Kada se tome doda KV cache offloading, gdje se neaktivni dijelovi tog "sjećanja" mogu prebaciti u jeftiniji RAM, dobiješ stroj koji drobi zahtjeve. Pet stotina tokena u sekundi na jednom H100. Prije nekoliko godina, to bi bila znanstvena fantastika. Danas je to jednostavno isplativo.

A tu je i cijeli cirkus speculative decodinga s EAGLE i n-gram pristupima. Umjesto da GPU mukotrpno generira token po token, jeftiniji, manji model "nagađa" što bi sljedećih nekoliko tokena moglo biti. GPU onda samo brzo provjeri je li nagađanje točno. To je kao da imaš pametnog asistenta koji ti pripremi nacrt izvješća, a ti samo dodaš pečat. Brže je. Puno brže. I kada se to spoji s chunked prefill-om, gdje se dugi upiti također razbiju na komade, nestaje čekanje. Samo tok. Sve ove tehnike, od PagedAttentiona do EAGLE, imaju jedan zajednički nazivnik: eliminacija čekanja. Uklanjanje svake mikro-sekunde u kojoj skupi silicij sjedi i ništa ne radi. Jer u cloud ekonomiji, vrijeme jest novac, doslovno, do najmanje decimalne točke na satu.

Što to znači za cijenu GPU sata i maržu na token? Prvo, znači da će cijene inferencea naglo pasti za one koji ovo implementiraju. Ako možeš opslužiti pet puta više zahtjeva s istim strojem, tvoja jedinična cijena se urušava. To je direktan udarac na maržu cloud provajdera koji su navikli naplaćivati ludačke iznose za jednostavno čekanje. Drugo, znači da će barijera za ulazak u "AI kao uslugu" postati sve niža. Ako je inference jeftiniji, možeš ga ponuditi jeftinije, što dovodi do većeg broja korisnika, što dovodi do još većih optimizacija. To je vrlo poznati pozitivni spiralni krug. Ali, i tu je ogromno "ali". Sve ove optimizacije su najbolje na NVIDIA-inom hardveru. NVFP4 kvantizacija, koja model gura u 4-bitni format, je izrezana za njihove čipove. CUDA je i dalje jezik kojim govori svemir.

I tu dolazimo do srži problema. Možemo pričati o D-Waveu i kvantnom annealingu, o custom ASIC-ima, o AMD-jevim naporima. Ali činjenica je da NVIDIA i dalje drži ključ proračuna cijele ove industrije. Oni su postavili stol, napisali pravila, i prodaju najbolje karte za igru. vLLM, koliko god genijalan, u najvećoj mjeri optimizira upravo njihovu arhitekturu. To nije slučajnost. To je poslovni model. Oni prodaju lopate za zlatnu groznicu koju su sami pomogli pokrenuti. A najbolji način da prodaš više lopata je da osiguraš da rudari mogu kopati brže i jeftinije — ali samo tvojim alatima. Cijeli taj tehnološki napredak, svojom brzinom i učinkovitošću, zapravo produbljuje ovisnost.

Dakle, što imamo? Imamo softverski trijumf koji čini čuda s hardverom koji je postao de facto monopol. Imamo smanjenje troškova koje će, paradoksalno, možda dovesti do još veće potrošnje na taj hardver. I imamo industriju koja je toliko opčinjena sljedećim tokenom da je trebalo pola stoljeća staru ideju da bi shvatila kako ne bacati novac kroz prozor. To je napredak, na neki način. Ali miris je poznat. To je miris računice. Konačno, nakon godina magle i halucinacija, netko je uzeo kalkulator.

Izvor: blog.vllm.ai

Izvor: manual

Izvor: manual