Šifriranje težina modela bez gubitka brzine: hardverski pristup

U današnjem svijetu umjetne inteligencije, težine modela predstavljaju vaše intelektualno vlasništvo (IP). One su rezultat mjeseci treniranja, golemih računalnih resursa i stručnog znanja. No, često su pohranjene u običnom tekstu na disku, što ih čini lakom metom za krađu. Šifriranje težina u mirovanju (at rest) logičan je korak, ali tradicionalni pristupi značajno usporavaju zaključivanje (inference), čineći ih nepraktičnima za produkcijska okruženja.

Problem: Šifriranje naspram brzine

Kada šifrirate težine modela, svaki put kada se model pokrene ili izvrši zaključivanje, potrebno je dešifrirati težine. To dodaje računalni trošak koji može povećati latenciju i smanjiti propusnost (throughput). U scenarijima gdje je svaka milisekunda bitna, to je neprihvatljivo. Klasična rješenja, poput dešifriranja cijelog modela u memoriju prije pokretanja, stvaraju usko grlo i povećavaju vrijeme pokretanja, dok dešifriranje na zahtjev (on-the-fly) tijekom zaključivanja dodaje kašnjenje svakom pozivu.

Rješenje: Hardverski podržani ključevi i predmemorija

Naš pristup u RiNET-u kombinira dvije ključne tehnologije: hardverski podržane ključeve (hardware-backed keys) i pametnu predmemoriju za dešifriranje (decryption cache). Umjesto da dešifriramo cijeli model odjednom, mi dešifriramo samo dijelove koji su trenutno potrebni, i to uz pomoć hardverskog sigurnosnog modula (HSM) ili TPM-a koji čuva ključeve izvan dosega softvera. To znači da čak i ako napadač dobije pristup disku, ne može dešifrirati težine bez fizičkog pristupa hardveru.

Kako to funkcionira u praksi

Implementacija se temelji na sljedećim koracima:

• Segmentacija modela: Model se dijeli na manje segmente (npr. po slojevima ili blokovima).
• Dešifriranje na zahtjev: Svaki segment se dešifrira samo kada je potreban za izračun, koristeći hardverski ključ.
• Predmemorija dešifriranih segmenata: Dešifrirani segmenti se čuvaju u sigurnoj predmemoriji (npr. u enklavi ili zaštićenoj memoriji) kako bi se izbjeglo ponovno dešifriranje pri sljedećem pozivu.
• Upravljanje ključevima: Ključevi se generiraju i čuvaju u hardveru, a softver nikada ne vidi sirove ključeve.

Ovaj pristup omogućuje da se većina zaključivanja odvija na dešifriranim podacima iz predmemorije, dok se dešifriranje novih segmenata događa paralelno i minimizira utjecaj na latenciju. U našim testovima, postigli smo manje od 5% pada brzine u usporedbi s nešifriranim modelom, što je prihvatljivo za većinu produkcijskih slučajeva.

Sigurnosne prednosti

Osim brzine, ovaj pristup nudi i bolju sigurnost. Budući da se ključevi nikada ne izlažu softveru, čak i ako je poslužitelj kompromitiran, napadač ne može izvući težine. Dodatno, možemo implementirati politike poput automatskog brisanja predmemorije nakon nekog vremena ili pri svakom ponovnom pokretanju, čime se smanjuje rizik od dugotrajnog izlaganja.

Zaključak

Šifriranje težina modela više nije luksuz, već nužnost za zaštitu IP-a. Uz hardverski podržane ključeve i pametnu predmemoriju, možete imati i sigurnost i brzinu. RiNET je razvio ovu tehnologiju kako bi vaši modeli bili zaštićeni bez kompromisa u performansama.