Hlađenje GPU-a: 4-GPU swarm hladimo ventilatorom i skriptom

Izazov: četiri GPU-a u ormaru bez klime

Kada pokrećete inferenciju velikih jezičnih modela poput Qwen na četiri potrošačka GPU-a u malom ormaru bez ikakve klimatizacije, termalni problemi su neizbježni. Većina poslužiteljskih rješenja oslanja se na skupe rashladne sustave, ali mi smo htjeli testirati granice – i uštedjeti. Cilj: održati temperature GPU-a ispod 85 °C uz minimalne troškove. Ovo rješenje za hlađenje GPU-a temelji se na jednostavnim komponentama.

Rješenje: kutni ventilator i Python skripta

Umjesto ugradnje profesionalnog hlađenja, upotrijebili smo običan kutni ventilator od 50 cm koji usisava zrak iz prostorije i usmjerava ga direktno na stražnju stranu kućišta. Zatim smo napisali Python skriptu koja prati temperature putem nvidia-smi i dinamički podešava brzinu ventilatora preko PWM kontrolera. Ključni dijelovi rješenja:

• Hardver: 4× NVIDIA RTX 3090 (ili sličan potrošački GPU), kutni ventilator (1200–2000 RPM), Arduino Nano s PWM izlazom za regulaciju.
• Softver: Python skripta koja očitava temperature svake sekunde i podešava PWM signal prema unaprijed definiranim pragovima (npr. ispod 70 °C – 30% snage ventilatora; 70–80 °C – 60%; iznad 80 °C – 100%).
• Fizički raspored: GPU-i su postavljeni u otvoreni rack s razmakom od 2 cm između kartica; ventilator je pozicioniran pod kutom od 15° kako bi zrak prolazio kroz sve hladnjake.

Rezultati i zapažanja

U testovima inferencije s Qwen-om 72B (batch size 1, 4 instance) temperature su ostale ispod 82 °C čak i tijekom kontinuiranog rada od 6 sati. Temperatura nikada nije prešla 84 °C, što je u granicama normale za dugotrajno hlađenje GPU-a. Bez ventilatora bi prešle 95 °C za manje od 10 minuta. Skripta je smanjila prosječnu brzinu ventilatora na 65%, čime je buka pala ispod 45 dB. Jedini nedostatak: potrebno je osigurati dotok svježeg zraka u prostoriju (otvorena vrata ili zračnik).

Zašto ovo funkcionira?

Potrošački GPU-i nisu dizajnirani za 24/7 rad u gužvi, ali njihovi hladnjaci su često predimenzionirani za standardna opterećenja. Dodatni protok zraka i pametna regulacija mogu nadomjestiti manjak klima uređaja. Osim toga, Python skripta omogućuje prilagodbu specifičnim modelima i radnim opterećenjima – nešto što skupa poslužiteljska rješenja ne nude bez dodatnog programiranja. Ovaj pristup hlađenju GPU-a ne zahtijeva skupu opremu; cijena kutnog ventilatora i Arduina iznosi manje od 50 eura, dok profesionalni rashladni sustavi koštaju stotine eura.

Savjeti za vlastitu implementaciju

• Koristite PWM ventilatore jer su tiši i energetski učinkovitiji od onih s naponskom regulacijom.
• Postavite sigurnosne pragove: ako temperatura prijeđe 90 °C, skripta automatski prekida inferenciju.
• Razmislite o protoku zraka u prostoriji – zatvoren ormar brzo postaje pećnica bez izmjene zraka.
• Testirajte s različitim kutovima ventilatora; najbolji rezultati postižu se kada zrak udara izravno u najtoplije dijelove GPU PCB-a.

Ovo je dokaz da se uz malo kreativnosti i jeftine komponente može postići stabilna inferencija čak i u neadekvatnim uvjetima. Naš Qwen swarm radi bez prekida već tri mjeseca – i to bez klima uređaja.