20TB cold archive: zašto institucionalna memorija ne smije ići u cloud

Prije nego što uopće krenemo pričati o backup strategiji, trebamo razjasniti jednu stvar koja se u industriji rutinski preskače. Podaci nisu jednaki. Institucije, pogotovo one koje rade s reguliranim ili infrastrukturnim sustavima, generiraju ogromne količine informacija od kojih većina ima rok trajanja od nekoliko dana ili tjedana. Logovi, privremeni cacheovi, monitoring metrike – to je toplinski šum. Ali postoji jedan sloj podataka koji se ne smije izgubiti ni pod koju cijenu. To su ono što mi u RiNET Engineeringu zovemo crown jewels sustava. U našem slučaju, to je WAL archive, pg_dump rotacija, Qdrant snapshotovi i compliance audit logovi sa sedmogodišnjom retencijom. To nisu podaci koje možeš rekonstruirati iz izvora. To su sami izvori.

Kad kažem WAL archive, mislim na Write-Ahead Log PostgreSQL baze. To je doslovno dnevnik svake transakcije koja se ikad dogodila u produkcijskoj bazi. Bez njega, u slučaju katastrofe, gubiš sposobnost point-in-time recoveryja. Možeš imati dnevne pune backupove, ali između njih postoji prozor od 24 sata u kojem si ranjiv. WAL archive taj prozor smanjuje na sekunde. Problem je što WAL fajlovi, pogotovo na sustavima koji generiraju stotine tisuća transakcija dnevno, brzo narastu. Naš sustav akumulira oko 20TB hladnih podataka godišnje. To nije nešto što držiš na NVMe diskovima. To nije nešto što šalješ u S3 bucket bez razmišljanja. To je teret koji zahtijeva strategiju, a ne samo skriptu.

Tu dolazimo do prvog problema s cloudom. Većina cloud providera nudi cool storage klase koje su jeftine po gigabajtu, ali te naplate pri svakom read requestu, pri svakom listanju bucketa, pri svakom lifecycle prijelazu. Kad imaš 20TB podataka koji se gotovo nikad ne čitaju, ali ih moraš čuvati sedam godina, cloud troškovi postaju apsurdni. Ne zbog storagea, nego zbog egressa i API poziva. Druga stvar je compliance. Regulirane industrije zahtijevaju WORM – Write Once, Read Many. To znači da podatak, jednom zapisan, ne smije biti promijenjen ili obrisan prije isteka retention perioda. Cloud provideri nude object lock, ali to je i dalje njihov hardver, njihov ključ, njihova jurisdikcija. Data sovereignty nije samo paranoja; to je zakonska obaveza u određenim sektorima.

Naš pristup je bio radikalan: cold storage mora biti fizički odvojen od produkcijskog sustava, bez mrežne veze osim u trenutku pisanja. Koristimo MinIO instance konfigurirane u WORM modu s 90-dnevnim retention lockom. To znači da čak i da netko dobije admin pristup MinIO konzoli, ne može obrisati ili izmijeniti fajl prije nego istekne 90 dana. A te fajlove rotiramo na način da uvijek postoji više kopija s različitim retention periodima. pg_dump rotacija radi na tjednoj bazi – full dumpovi se čuvaju mjesec dana, a nakon toga prelaze u cold tier gdje ih se više ne dira. Kombinacija WAL archiva i tjednih dumpova daje nam mogućnost da bazu vratimo u bilo koje stanje u zadnjih 12 mjeseci. To je naš RPO – Recovery Point Objective. Ništa manje.

Qdrant snapshotovi su posebna priča. Koristimo Qdrant za vektorske embeddinge koji su temelj našeg sovereign AI sustava. To nisu samo indeksi; to su desetljećima akumulirani embeddingi koji predstavljaju institucionalno znanje. Gubitak Qdrant snapshotova znači gubitak semantičke memorije sustava. Ponovno generiranje tih embeddinga iz izvornih dokumenata nije samo skupo – ono je često nemoguće jer su se izvorni dokumenti mijenjali, brisali ili su podložni različitim pravnim režimima. Zato Qdrant snapshotove tretiramo kao najosjetljiviji sloj podataka. Oni idu na zaseban MinIO bucket s geografski redundantnom kopijom u drugom data centru. I ta kopija je također WORM zaštićena. Nema iznimke.

Compliance audit logovi su treći stup. Svaka operacija u sustavu – tko je što napravio, kada, s kojeg IP-ja, s kojim tokenom – mora biti zapisana i sačuvana sedam godina. To je zakonski minimum u većini reguliranih industrija. Ali logovi su specifični po tome što ih se često zaboravlja zaštititi od brisanja. Backup logova nije dovoljan; trebaš logove koji su immutable od trenutka nastanka. Mi smo to riješili tako što audit logovi direktno idu u WORM bucket preko fluentd pipelinea. Nema međuspremnika, nema batchanja, nema mogućnosti da netko uredi log prije nego što se zapiše. Jednom kad je log u bucketu, on je tu sedam godina. Možeš ga čitati, ali ne možeš ga dirati.

Gradimo ovo svaki dan. Ako tvoja institucija troši mjesece na taj problem — razgovaraj s nama.

Zašto to ne ide u cloud? Zato što cloud provideri ne nude istu razinu kontrole nad lifecycleom podataka. U cloudu si ti najčešće najmoprimac storagea, a ne vlasnik. Tvoji podaci su na diskovima koji dijele fizički prostor s podacima drugih klijenata, a iako su enkripcijom odvojeni, fizička kontrola nije tvoja. Kod cold archiva od 20TB, gdje se podaci gotovo nikad ne čitaju, jedini smisleni trošak je trošak diska. U cloudu ti naplate i storage i API i lifecycle i egress. Kod nas, na dedicated hardveru, trošak je jednokratan – kupiš diskove, staviš ih u shelf, i zaboraviš na njih sedam godina. Struja i hlađenje su marginalni. Nema mjesečnih računa koji rastu.

Naravno, postoje i iznimke. Ako si startup koji nema vlastiti data centar, cloud je jedina opcija. Ali institucije koje imaju infrastrukturu, koje imaju vlastite rackove, koje imaju compliance zahtjeve – one rade grešku kad sve gurnu u cloud jer je to "moderno". Cold archive nije moderan. Cold archive je dosadan, spor, i zahtijeva disciplinu. To je onaj ormar u podrumu u koji nitko ne zalazi, ali kad izgori zgrada, taj ormar je jedino što ti preostane. Zato smo svjesno odabrali arhitekturu u kojoj je cold storage fizički odvojen, mrežno izoliran, i pod našom potpunom kontrolom.

Implementacijski, to izgleda ovako. Imamo tri fizički odvojene lokacije. Produkcija u primarnom data centru, topli backup u sekundarnom data centru s 24-satnim RPO, i cold archive u trećoj lokaciji koja nema nikakvu mrežnu vezu osim jednog usmjerenog VPN tunela koji se otvara samo tijekom backup prozora. WAL fajlovi se streamaju u realnom vremenu na topli backup, a zatim se svakih sat vremena batchaju i šalju u cold archive. pg_dumpovi se rade jednom tjedno, ali se čuvaju mjesec dana na toplom, a zatim sele u cold. Qdrant snapshotovi se rade svakih šest sati, ali samo zadnja 24 sata ostaju na toplom – sve starije ide direktno u cold. Compliance logovi idu direktno u cold. Nema filtriranja, nema uzorkovanja. Sve ili ništa.

Što smo naučili iz ovog procesa? Prvo, da je cold archive najčešće zanemarena komponenta u backup strategiji. Većina ljudi se fokusira na RTO i RPO za produkcijske podatke, ali zaboravlja da postoje podaci koji se ne mogu ponovno generirati. Drugo, da je WORM ključan ne samo za compliance, nego i za sigurnost. Ako netko probije produkcijski sustav i dobije pristup backupovima, može ih obrisati ili kriptirati. S WORM arhitekturom, čak i da dobije admin pristup MinIO instanci, ne može dirati podatke prije isteka retention perioda. To ti daje vremenski prozor da reagiraš. Treće, da data sovereignty nije samo pitanje zakona, nego i pitanje povjerenja. Kad su ti podaci u cloudu, ti se oslanjaš na providera da će poštovati tvoje retention politike. Kad su ti podaci na tvom hardveru, ti si jedini koji odgovara.

Na kraju, sve se svodi na jedno pitanje: koliko ti je stalo do institucijske memorije? Ako je odgovor "jako", onda cold archive nije opcija – on je obaveza. I ta obaveza se ne delegira cloudu.

Ako te zanima ovakva arhitektura ili gradiš nešto slično za svoju instituciju — javi se preko rinet.one.