Dijeljeni KV‑Cache zagađenje: izolacija pagirane pažnje među najamnicima

U suvremenim dubokim neuralnim mrežama, posebno onim koji se bave transformatorima, pagirana pažnja postala je ključna tehnika za skaliranje modela na više korisnika (najamnika) bez potrebe za dupliciranjem cijelog modela. Ova metoda dijeli memoriju u blokove, a svaki blok sadrži ključ‑vrijednost parove (KV‑pairs) koji se koriste za izračunavanje pažnje. Na taj način jedan stroj može istovremeno obraditi više zahtjeva, čime se značajno smanjuje trošak i povećava efikasnost.

Međutim, dijeljeni KV‑Cache također donosi rizik zagađenja (poisoning) konteksta. Zbog toga što svi najamnici dijele istu tablicu blokova, bilo koji zapis koji se promijeni u jednoj sesiji može utjecati na drugu. Ako, na primjer, jedan najamnik izvrši upis u KV‑Cache koji se ne odnosi na njegovu temu, te podaci se mogu pojaviti u kontekstu drugog najamnika, što dovodi do pogrešnih ili nepoželjnih rezultata.

Kako nastaje zagađenje konteksta?

• Preklapanje blokova: Blokovi se alociraju na temelju veličine upita, ali u slučaju velikih upita blokovi mogu preklapati druge najamnike.
• Neodržavanje izolacije: Ako se ne provodi pravilna segmentacija memorije, jedan najamnik može pisati u blokove koji su rezervirani za drugog.
• Neodgovarajuće brisanje: Nakon završetka sesije, KV‑Cache se ne čisti, što ostavlja tragove iz prethodnih upita.

Strategije za sprječavanje zagađenja

Da bi se osigurala pouzdanost i sigurnost u višekorisničkim okruženjima, preporučuje se kombinacija hardverskih i softverskih rješenja:

• Segmentirana memorija: Dodeljivanje jedinstvenih memorijskih segmenata svakom najamniku, čime se sprječava pisanje u neovlaštene blokove.
• Token‑based isolation: Svaki upit nosi jedinstveni token koji se koristi za provjeru pristupa KV‑Cacheu.
• Automatsko čišćenje: Implementacija rutine koja se pokreće nakon svake sesije i briše sve KV‑pairs povezane s tim najamnikom.
• Monitoring i audit: Redovito praćenje pristupa memoriji i generiranje logova za otkrivanje anomalija.
• Hardware‑level isolation: Korištenje tehnologija poput Intel SGX ili AMD SEV za fizičku izolaciju memorijskih segmenata.

Primjena u praksi: primjer iz industrije

Jedna od vodećih platformi za AI usluge, RiNET, implementirala je sustav pagirane pažnje s dodatnim slojem izolacije. Svaki najamnik dobiva svoj memorijski blok, a token‑based isolation osigurava da se KV‑Cache ne može dijeliti između korisnika. Rezultat je smanjenje incidenta zagađenja konteksta za više od 95 % u odnosu na prethodnu arhitekturu.

Uz pravilnu konfiguraciju i redovito održavanje, pagirana pažnja može ostati sigurna i pouzdana, omogućujući skalabilne AI rješenja bez kompromisa na sigurnosti podataka.