Build vs Buy 2026: Kada graditi vlastiti LLM, a kada ne

Tijekom protekle dvije godine, tržište enterprise AI-ja prošlo je kroz tri faze: prvu, u kojoj su svi hitali prema OpenAI API-ju kao jedinom rješenju, drugu, u kojoj je svaki CTO sanjao o vlastitom GPU clusteru, i treću, u kojoj smo svi shvatili da je odluka daleko složenija od puke preferencije prema cloud ili on-premise arhitekturi. U RiNET-u, nakon što smo izgradili više enterprise AI sustava za institucije koje se suočavaju s regulatornim pritiscima EU AI Acta i zahtjevima za data sovereignty, došli smo do jasnog okvira koji dijeli situacije u kojima ima smisla graditi vlastiti LLM stack od onih u kojima je to ekonomski i operativno neodrživo. Ključna razlika leži u tri varijable: volumenu tokena koji obrađujete, zahtjevima za latencijom i kontrolom nad podacima, te vašoj organizacijskoj spremnosti za upravljanje GPU infrastrukturom. Bez ovog okvira, odluka postaje kockanje s milijunima eura.

Problem s kojim se većina enterprise organizacija suočava nije tehničke prirode, već ekonomske. Kada pogledate TCO za vlastiti GPU cluster, recimo NVIDIA H100 ili čak B200, trošak ne uključuje samo hardver od 30.000 do 50.000 dolara po GPU-u. Tu su i troškovi hlađenja, električne energije koja u Europi doseže i 0,25 eura po kWh, održavanja, licence za softverski stack, te najvažnije – trošak inženjerskog tima koji mora održavati taj sustav. S druge strane, OpenAI API ili Azure OpenAI naplaćuju po tokenu, što na prvi pogled izgleda skupo, ali uključuje sve operativne troškove. Prag rentabilnosti, prema našim izračunima, leži na otprilike 50 milijuna tokena dnevno za manje modele poput Llama 3 8B, i na preko 200 milijuna tokena dnevno za modele veličine GPT-4 klase. Ispod tih brojki, cloud API je gotovo uvijek jeftiniji.

No token volume nije jedina varijabla. U RiNET-u smo izgradili sustave za institucije koje obrađuju osjetljive podatke građana, gdje čak i privremeno slanje podataka u oblak predstavlja kršenje GDPR-a ili specifičnih nacionalnih regulativa. U tim slučajevima, build opcija postaje jedina legalno izvediva, bez obzira na TCO. EU AI Act, posebno za high-risk AI sustave, zahtijeva potpunu transparentnost i mogućnost revizije modela, što je gotovo nemoguće postići s black-box API-jem. Ovdje ne birate između build i buy, već između build i neimplementiranja AI-ja uopće. To je ključna distinkcija koju mnogi CTO-ovi propuštaju: build nije uvijek ekonomska odluka, već često regulatorna i strateška.

Kada govorimo o arhitekturi, enterprise AI u 2026. zahtijeva tri sloja: inference layer, fine-tuning layer i retrieval layer. Build opcija vam daje potpunu kontrolu nad sva tri, dok buy opcija znači da ste ovisni o vanjskom provideru za barem jedan od njih. U RiNET-u smo izabrali hibridni pristup za većinu klijenata: lokalni inference za osjetljive podatke, cloud za bulk processing koji ne uključuje PII, i vlastiti fine-tuning pipeline za domain-specific modele. Ova arhitektura, koju zovemo waterfall model, omogućuje da 80% tokena obrađujete lokalno po cijeni koja je do 60% niža od cloud API-ja, dok preostalih 20% ide u cloud za zadatke koji zahtijevaju veće modele ili specifične sposobnosti koje lokalni modeli još ne podržavaju.

Ključni element koji često ostaje neprimijećen jest latencija i predvidivost performansi. Kada gradite vlastiti LLM stack, vaš inference latency je deterministički – ovisi o vašem hardveru i optimizaciji modela. U cloud okruženju, latencija varira ovisno o opterećenju providera, a u ekstremnim slučajevima, poput OpenAI-jevih throttling politika, može skočiti za red veličine. Za aplikacije u stvarnom vremenu, poput AI asistenata u zdravstvu ili financijama, gdje je latencija ispod 200 milisekundi kritična, build opcija nudi predvidivost koju cloud ne može garantirati. U RiNET-u smo dokumentirali slučajeve gdje je prelazak s cloud API-ja na lokalni inference smanjio latenciju s prosječnih 800 na 120 milisekundi, uz potpunu eliminaciju outliera.

Sada dolazimo do pitanja koje muči svakog CTO-a: kako izračunati pravi prag rentabilnosti? Formula koju koristimo u RiNET-u uključuje pet varijabli: dnevni token volume, prosječnu duljinu konteksta, broj istovremenih korisnika, zahtjeve za latencijom i regulatorne zahtjeve. Uzmimo primjer enterprise aplikacije s 10.000 korisnika koji generiraju 100 upita dnevno, s prosječnim kontekstom od 2000 tokena. To je 2 milijarde tokena dnevno, što je daleko iznad praga za build opciju. No ako taj sustav ima samo 100 korisnika, dolazimo na 20 milijuna tokena dnevno, gdje cloud API i dalje pobjeđuje. Ključna greška koju vidimo jest da organizacije gledaju samo trenutni volume, a ne projekciju rasta. Ako očekujete rast od 10x u sljedeće dvije godine, build opcija postaje isplativa puno ranije.

Industry comparison globalno pokazuje zanimljive obrasce. U SAD-u, gdje su cijene energije niže i gdje postoji veća dostupnost GPU hardvera, prag rentabilnosti je pomaknut prema dolje za otprilike 30%. U Europi, posebno u Njemačkoj i Francuskoj, regulatorni pritisci često guraju organizacije prema build opciji čak i kada je TCO nepovoljan. U Aziji, gdje su cloud provideri poput Alibaba Cloud i AWS često dominantni, hibridni modeli su rijetkost. RiNET-ova pozicija je jasna: ne postoji univerzalno rješenje, ali postoji univerzalni okvir za odluku. Mi smo izabrali da ne prodajemo GPU hardver niti cloud pretplate, već da nudimo analitički okvir i implementaciju koja prati taj okvir.

Ovaj pristup razvijamo na rinet.one — za detalje slobodno se javi.

Jedan od najčešćih zabluda jest da je build opcija uvijek skuplja u kratkom roku. To nije točno. Ako već imate GPU kapacitet u svom data centru, marginalni trošak pokretanja LLM inference-a može biti zanemariv. U RiNET-u smo radili s organizacijama koje su imale NVIDIA A100 GPU-e kupljene za druge workloadove, poput računalnog vida ili simulacija. U tim slučajevima, build opcija je gotovo besplatna – samo trebate dodati softverski sloj. S druge strane, ako morate kupiti nove GPU-e, TCO uključuje i oportunitetni trošak kapitala koji ste mogli uložiti u druge projekte. Ovdje je ključno napraviti NPV (net present value) analizu kroz tri godine, a ne samo gledati mjesečne troškove.

Teorijski okvir koji koristimo temelji se na konceptu stack ownership. Što više slojeva u AI stacku posjedujete, to je vaša dugoročna fleksibilnost veća, ali i vaš kratkoročni trošak viši. Ako posjedujete samo application layer, ovisni ste o API-ju koji se može promijeniti, pojeftiniti ili poskupjeti. Ako posjedujete model layer (vlastiti fine-tuned model), ali ne i infrastructure layer, i dalje ste ovisni o cloud provideru. Potpuni build znači posjedovanje svega: od hardvera do modela. U RiNET-u smo izabrali da za enterprise klijente često preporučamo partial build – posjedovanje modela i fine-tuning pipelinea, dok infrastructure layer outsourcamo na dedicated provider koji nudi GPU-as-a-service. To je zlatna sredina koja nudi 80% benefita build opcije uz 50% troškova.

Pogledajmo konkretan primjer iz naše prakse. Institucija koja obrađuje 500.000 dokumenata mjesečno, svaki prosječne duljine 3000 tokena, za potrebe semantičkog pretraživanja i sumarizacije. To je 1,5 milijardi tokena mjesečno, ili 50 milijuna dnevno. S OpenAI GPT-4o API-jem, to košta otprilike 15.000 dolara mjesečno. S vlastitim Llama 3 70B modelom na 4x H100 GPU-a, mjesečni trošak je otprilike 8.000 dolara (amortizacija hardvera, energija, održavanje). Razlika je 7.000 dolara mjesečno u korist build opcije, ali samo ako imate inženjerski tim koji može održavati sustav. Ako nemate, dodajte 15.000 dolara mjesečno za plaću MLOps inženjera, i build opcija postaje skuplja. Ovdje je ključna organizacijska spremnost.

EU AI Act dodatno komplicira jednadžbu. Za modele koji se smatraju high-risk, morate imati mogućnost revizije trening podataka, model arhitekture i inference logike. S cloud API-jem, to je često nemoguće. OpenAI vam neće dati pristup internim težinama modela. S build opcijom, vi ste vlasnik svega. U RiNET-u smo izabrali da za klijente koji rade u reguliranim sektorima – zdravstvo, financije, javna uprava – build opcija nije luksuz, već nužnost. Čak i ako je skuplja za 20-30%, trošak neregulatorne usklađenosti (kazne koje dosežu 4% globalnog prihoda) daleko nadmašuje uštedu.

Zaključak je jednostavan: build opcija ima smisla kada je vaš token volume dovoljno visok da pokrije fiksne troškove infrastrukture, kada su vam regulatorni zahtjevi takvi da ne možete koristiti cloud, ili kada vam je latencija kritična i ne možete prihvatiti varijabilnost cloud API-ja. Buy opcija ima smisla kada ste u fazi eksperimentiranja, kada je vaš volume nizak, ili kada nemate inženjerski kapacitet za održavanje složenog sustava. Hibridni model, koji kombinira lokalni inference za osjetljive podatke i cloud za bulk processing, često je najbolji izbor za organizacije koje žele balansirati troškove i kontrolu.

U RiNET-u smo izabrali da ne nudimo jednostavne odgovore, već da s klijentima prolazimo kroz ovaj okvir korak po korak. Jer istina je da u 2026. više nema univerzalno ispravnog odgovora. Ono što je ispravno za jednu organizaciju može biti pogrešno za drugu, čak i unutar istog sektora. Build vs buy je postala strateška odluka koja zahtijeva duboko razumijevanje vlastitih operacija, regulatornog okruženja i dugoročnih ciljeva. Ako ste spremni napraviti tu analizu, dobrodošli u svijet enterprise AI-ja gdje odluke donosite na temelju podataka, a ne hypea.

Ako te zanima ovakva arhitektura ili gradiš nešto slično za svoju instituciju — javi se preko rinet.one.