Skriveni trošak mirovanja: potrošnja i termalno gušenje u 24/7 inferencijskom klasteru

U svijetu suverene umjetne inteligencije, gdje svaki ciklus obrade nosi težinu autonomije, često zanemarujemo tihog neprijatelja: mirovanje. U RiNET-u smo odlučili instrumentirati naš 24/7 self-hosted inferencijski klaster kako bismo izmjerili stvarnu cijenu praznog hoda. Rezultati su bili poražavajući – 40% energije odlazi u vjetar, a performanse tiho propadaju kroz termalno gušenje.

Što smo otkrili?

Naš klaster, koji neprekidno obrađuje zahtjeve za inferencijom, pokazao je alarmantne obrasce. Kada GPU-i nisu pod opterećenjem, njihova potrošnja ne pada na nulu – umjesto toga, troše i do 40% vršne snage. Ova potrošnja u praznom hodu nije samo financijski teret; ona stvara toplinu koja pokreće začarani krug termalnog gušenja.

Termalno gušenje: tihi ubojica performansi

Kada se GPU-i zagriju iznad kritične temperature, sustav automatski smanjuje frekvenciju rada kako bi se zaštitio. Ovo termalno gušenje smanjuje propusnost za 15-25% u vršnim satima, a da to nitko ne primijeti – osim u kašnjenju odgovora. Naši podaci pokazuju da se temperatura GPU-a penje za 10-15°C čak i u stanju mirovanja, što priprema teren za gušenje čim dođe pravi posao.

Kako smo povratili kontrolu?

Implementirali smo power capping – ograničenje maksimalne potrošnje GPU-a na 80% nazivne vrijednosti. Ovo je smanjilo potrošnju u praznom hodu za 35%, a termalno gušenje gotovo nestalo. Također smo uveli dinamičko upravljanje napajanjem koje gasi neaktivne GPU-e u periodima niske potražnje. Rezultat? Ušteda od 40% na računima za struju i stabilne performanse 24/7.

Preporuke za suverene klastere

• Mjerite potrošnju u praznom hodu – bez podataka ne možete upravljati.
• Primijenite power capping – smanjite vršnu potrošnju i produžite život GPU-a.
• Optimizirajte hlađenje – bolji protok zraka smanjuje termalno gušenje.
• Planirajte opterećenje – izbjegavajte nagle skokove koji aktiviraju gušenje.

U RiNET-u smo naučili da je mirovanje skupo – ne samo u novcu, nego i u performansama. Termalno gušenje je tihi neprijatelj svakog 24/7 klastera, ali uz prave alate, možete ga pobijediti.