Stvarni TCO suverenog AI-ja: Bare Metal vs. Spot Instance kroz 6 mjeseci

Kada razmatrate izgradnju infrastrukture za suvereni AI, ključno pitanje nije samo početna cijena, već ukupni trošak vlasništva (TCO) kroz razdoblje od najmanje šest mjeseci. U ovom članku donosimo detaljnu, bezuvjetnu analizu dvaju suprotstavljenih pristupa: bare metal poslužitelja i spot instanci u cloudu.

Hardver i početna ulaganja

Bare metal zahtijeva značajan kapitalni izdatak (CapEx) za nabavu GPU-ova (npr. NVIDIA A100 ili H100), CPU-a, memorije i pohrane. S druge strane, spot instance su operativni trošak (OpEx) – plaćate po satu, često uz 60-90% popusta u usporedbi s on-demand cijene. Međutim, spot instance mogu biti prekinute u bilo kojem trenutku, što za AI radna opterećenja poput finetuninga može biti katastrofalno.

Mreža i prijenos podataka

Suvereni AI često zahtijeva obradu osjetljivih podataka unutar određene jurisdikcije. Kod bare metala podaci ostaju lokalni, a troškovi izlaznog prometa (data egress) su zanemarivi. Spot instance, posebice u javnom cloudu, naplaćuju izlazni promet po višim cijenama, što može značajno povećati TCO ako često prenosite velike skupove podataka.

Operativni troškovi i održavanje

Bare metal donosi troškove struje, hlađenja, fizičkog prostora i osoblja za održavanje. Spot instance eliminiraju fizičku brigu, ali zahtijevaju sofisticiranu automatizaciju za checkpointing i oporavak od prekida. Ako vaš AI workload može podnijeti prekide (npr. inferenciranje s replikacijom), spot instance su isplative. Za kontinuirani finetuning, bare metal je pouzdaniji.

Šestomjesečna usporedba

Uzmimo primjer klastera od 8 GPU-ova (npr. 8x A100). Bare metal: početni trošak ~120.000 € + mjesečni operativni troškovi ~3.000 € = ukupno ~138.000 € za 6 mjeseci. Spot instance: prosječna cijena 1,5 €/GPU/sat uz 70% popusta = 0,45 €/GPU/sat. Za 6 mjeseci (4380 sati) uz 80% iskorištenja (zbog prekida) = 8 GPU * 0,45 € * 4380 * 0,8 ≈ 12.614 €. Međutim, dodajte troškove egressa (npr. 10 TB mjesečno po 0,08 €/GB = 800 € mjesečno) i automatizacije – ukupno ~17.000 €. Spot instance su jeftinije, ali uz rizik.

Zaključak

Izbor ovisi o prirodi posla. Za stabilne, dugotrajne zadatke finetuninga s osjetljivim podacima, bare metal nudi predvidljivost i suverenitet. Za fleksibilna, kratkotrajna inferenciranja uz nisku cijenu, spot instance su pobjednik. Ključno je izračunati vlastiti TCO uzimajući u obzir sve skrivene troškove.