Rotacija ključeva bez prekida rada: ponovno šifriranje vektorskih podataka

Rotiranje enkripcijskih ključeva za veliku vektorsku bazu podataka, poput one od 2TB, bez prekida rada, predstavlja značajan tehnički izazov. Tradicionalni pristupi često zahtijevaju prekid usluge ili dugotrajne procese koji utječu na performanse. U ovom članku analiziramo kompromise i predstavljamo konkretan pristup koji koristi omotničku enkripciju, fazno ponovno šifriranje i verzionirane ključeve.

Problem s rotacijom ključeva

Kada se ključevi koriste za šifriranje osjetljivih podataka, njihova rotacija je ključna za sigurnost. Međutim, u vektorskim bazama podataka, podaci su često indeksirani i optimizirani za brze pretrage. Ponovno šifriranje cijelog skupa podataka može biti izuzetno skupo i dugotrajno, a često zahtijeva i prekid rada kako bi se osigurala konzistentnost.

Omotnička enkripcija kao temelj

Omotnička enkripcija (envelope encryption) je tehnika koja koristi dva sloja ključeva: glavni ključ (key encryption key – KEK) i ključeve podataka (data encryption keys – DEK). Svaki podatak šifriran je s DEK-om, a DEK je dodatno šifriran s KEK-om. Ova struktura omogućuje rotaciju KEK-a bez ponovnog šifriranja svih podataka – dovoljno je ponovno šifrirati DEK-ove. Međutim, u vektorskim bazama, DEK-ovi su često vezani uz indekse, pa njihova rotacija može biti složena.

Fazno ponovno šifriranje

Umjesto pokušaja ponovnog šifriranja cijele baze odjednom, koristimo fazni pristup. Podaci se dijele na manje segmente (npr. po particijama ili shardovima). Svaki segment se ponovno šifrira zasebno, tijekom perioda niske aktivnosti. Ovaj proces omogućuje postupnu migraciju bez prekida rada, jer se svaki segment može ponovno šifrirati dok je sustav online, uz minimalan utjecaj na performanse.

Verzionirani ključevi

Kako bismo omogućili nesmetanu rotaciju, koristimo verzionirane ključeve. Svaki DEK ima svoju verziju, a KEK također ima verziju. Kada se KEK rotira, nova verzija KEK-a se koristi za šifriranje novih DEK-ova, dok se stari DEK-ovi postupno ponovno šifriraju s novim KEK-om. Ovaj pristup omogućuje čitanje podataka tijekom procesa rotacije, jer sustav može dešifrirati podatke koristeći odgovarajuću verziju ključa.

Implementacija i izazovi

Implementacija ovakvog sustava zahtijeva pažljivo upravljanje ključevima i praćenje verzija. Također, potrebno je osigurati da se tijekom ponovnog šifriranja ne naruši konzistentnost podataka. Koristimo transakcije i zaključavanje na razini segmenta kako bismo osigurali da se podaci ne mijenjaju tijekom procesa. Dodatno, koristimo asinkrone zadatke koji se izvršavaju u pozadini, čime se smanjuje utjecaj na glavne operacije.

Rezultati i zaključak

Ovaj pristup omogućio nam je rotaciju ključeva za vektorsku bazu od 2TB bez prekida rada, uz minimalan utjecaj na performanse. Ključno je bilo kombinirati omotničku enkripciju s faznim ponovnim šifriranjem i verzioniranim ključevima. Ovaj pristup nije samo siguran, već i skalabilan, te se može primijeniti na različite tipove podataka i baza.

Sigurnost ne smije biti žrtvovana radi dostupnosti – s pravim pristupom, možete imati oboje.