Manji modeli, veća histerija: Cloudflare servira Kimi i GLM na rubu mreže

Tisuću četiristo milijardi parametara je broj koji zvuči impresivno dok ne shvatiš da je to otprilike isto kao broj ljudi koji su obećali da će se vratiti na more nakon što su se vratili s mora — puno, ali ništa ne znači. Ali evo što je zanimljivo: dok se cijela industrija dere o modelima koji zahtijevaju nuklearnu elektranu kao napajanje i pola Pacifika za hlađenje, Cloudflare je tiho objavio da servira male modele poput Kimija i GLM-a direktno na rubu svoje mreže. Manje. Brže. Sigurnije. I nitko nije povikao da je to revolucija, jer revolucije u tech industriji moraju biti glasne, skupe i potpuno neisplative da bi ih svi shvatili ozbiljno.

Zamisli scenu: negdje u podatkovnom centru koji je udaljen od tebe manje od pedeset milisekundi, jedan mali model upravo rješava problem koji bi prije tri godine zahtijevao da pošalješ podatke u oblak, čekaš da ih tamo obradi superračunalo veličine tenkovske divizije, i vratiš rezultat natrag s kašnjenjem koje je dovoljno dugo da stigneš skuhati kavu, popiti je, i shvatiti da si u međuvremenu izgubio volju za životom. A sada? Sada model živi na rubu, odmah do tebe, kao susjed koji uvijek ima šećer i nikad ne traži natrag. To je ideja koja je toliko jednostavna da je genijalna, a toliko genijalna da je očito trebalo desetljeće da netko na nju dođe.

Naravno, postoji caka. Uvijek postoji caka.

Veliki modeli su kao oni ljudi koji na partyju pričaju o sebi tri sata bez daha — impresivni, ali nakon nekog vremena poželiš da netko dođe i ugasi ih. Mali modeli su onaj tip u kutu koji kaže jednu rečenicu koja sve promijeni i onda ode kući. Problem je što su veliki modeli postali statusni simbol. Kad izvršni direktor neke kompanije kaže na pozornici "imamo model sa sto milijardi parametara", publika plješće kao da je netko upravo najavio kraj gladi u svijetu. Nije bitno što model radi, bitno je koliko je velik. Kao da bi netko kupio automobil isključivo na temelju broja konjskih snaga, bez obzira na to što je to zapravo kamion koji troši gorivo kao mali ratni brod i ne može se parkirati nigdje osim na pisti za zrakoplove.

Cloudflare je, s druge strane, napravio nešto što je u ovoj industriji gotovo pa uvredljivo — napravio je nešto praktično. Servirati male modele na rubu mreže znači da ne trebaš slati svoje podatke preko pola planete da bi dobio odgovor na pitanje koje je relevantno za tvoju lokalnu situaciju. To je kao razlika između toga da pitaš susjeda koliko je sati i toga da nazoveš nekoga u Australiji da ti kaže koliko je sati tamo gdje on živi. Jedno je brzo, drugo je tehnički točno ali potpuno beskorisno.

I tu dolazimo do onoga što nitko ne želi priznati — manji modeli su često bolji za stvarne poslove. Ne za generiranje poezije o ljubavi na sanskrtu, nego za stvari koje ljudi stvarno rade: klasifikacija podataka, prepoznavanje obrazaca, automatsko odgovaranje na uobičajena pitanja. Za te poslove, veliki model je kao da unajmiš profesora filozofije da ti otvori konzervu tune. Hoće li to napraviti? Hoće, ali će ti prethodno objasniti ontologiju gladi i fenomenologiju konzervi, i trebat će mu tri sata i pola sata za pauzu za kavu.

A sada dolazi najbolji dio — sigurnost. Kad serviraš model lokalno, podaci ne putuju nigdje. Tvoji podaci ostaju tamo gdje jesu, u tvom kvartu, u tvom podatkovnom centru, u tvojoj zemlji. To je koncept koji regulatorima diljem Europe izaziva suze radosnice, a svakom IT menadžeru koji je proveo posljednje tri godine objašnjavajući da se podaci ne smiju slati u oblak, suze olakšanja. Jer, hajmo biti iskreni — GDPR je napisan zato što su svi slali sve svima, a onda su se pravili iznenađeni kad je netko zloupotrijebio te podatke.

Pitam se, kao netko tko je devedesetih spajao ljude na internet preko modema koji je škripao kao umiruće mače, što bi pomislio da mi je netko tada rekao da ćemo za trideset godina imati umjetnu inteligenciju koja radi na rubu mreže, lokalno, bez slanja podataka u centralizirani oblak. Vjerojatno bih pomislio da je to sjajna ideja, ali da je netko propustio poantu — poanta interneta je bila povezanost, razmjena, globalno selo. A sada se vraćamo na lokalnost, na rub, na to da podaci ostaju tamo gdje jesu. Kao da smo otkrili da je globalno selo zapravo prenapučeno i da nam treba vlastita okućnica.

Naravno, velike kompanije neće odustati od svojih monstruma preko noći. Previše je novca uloženo u marketing koji prodaje veličinu kao kvalitetu. Previše je analitičara koji ne znaju objasniti ništa osim broja parametara. Previše je konferencija na kojima ljudi ustaju i aplaudiraju kad netko spomene model koji je veći od prošlogodišnjeg modela, kao da je to sportsko natjecanje u dizanju utega. Ali vjetar se polako okreće. I kad se jednom okrene, svi će reći da su oduvijek znali da je manje zapravo više. Svi će zaboraviti da su prošle tri godine pljuvali po svakome tko je to usudio reći naglas.

Ako išta znam o infrastrukturi, a znam je jer sam pola života proveo držeći servere živima, onda znam ovo: najbolje rješenje je ono koje radi, a ne ono koje izgleda impresivno na PowerPoint prezentaciji. Mali modeli na rubu mreže rade. Brzi su, jeftini i ne odvode tvoje podatke u nepoznate ruke. To je kao da imaš lokalnog mesara koji zna tvoje ime umjesto lanca supermarketa koji te tretira kao broj. Možda nema toliko izbora, ali ono što ima je svježe i točno ono što trebaš.

Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim. Ovaj put, iznenađenje je da manji modeli, servirani pametno, rade bolje posao od golemih koji gutaju struju kao da je besplatna. Ali hej, to je samo zdrav razum. A zdrav razum je u ovoj industriji najrjeđa roba.

Izvor: blog.cloudflare.com