Lokalna pohrana inference logova na NVMe diskovima za EU AI Act reviziju

U skladu s EU AI Actom, tvrtke koje razvijaju ili koriste modele umjetne inteligencije (posebno one visokog rizika) moraju osigurati detaljnu revizijsku trajnost podataka o inferencijama. To uključuje inference logove koji bilježe svaki upit, odgovor, vrijeme i metapodatke. Pohrana tih inference logova na lokalnim NVMe diskovima nudi nekoliko prednosti: brzinu upisa, nisku latenciju i potpunu kontrolu nad podacima, što je ključno za ispunjavanje zahtjeva o suverenitetu podataka iz EU AI Acta.

Zašto lokalni NVMe za inference logove?

NVMe diskovi pružaju iznimno velike brzine sekvencijalnog i nasumičnog upisa, što je idealno za kontinuirano bilježenje inference logova iz LLM modela. Za razliku od mrežnih pohrana (NAS, SAN) ili oblaka, lokalni NVMe diskovi eliminiraju mrežnu latenciju i potencijalne sigurnosne propuste. Osim toga, podaci ostaju fizički unutar jurisdikcije tvrtke, što olakšava dokazivanje usklađenosti s člankom 10. EU AI Acta (upravljanje podacima i transparentnost).

Konkretan obrazac: systemd, logrotate i parquet za inference logove

Preporučeni obrazac sastoji se od tri ključne komponente:

• systemd servis za pokretanje i nadzor procesa bilježenja inference logova. Servis se konfigurira tako da zapisuje logove u određeni direktorij na NVMe disku (npr. /mnt/nvme0/inference-logs/).
• logrotate za rotaciju i kompresiju inference logova. Konfiguracija osigurava da se logovi rotiraju dnevno ili po dostizanju određene veličine (npr. 100 MB), čime se sprječava preopterećenje diska. Kompresija (gzip) smanjuje prostor, a stariji inference logovi se brišu nakon 90 dana (ili prema zahtjevima revizije).
• Parquet format za strukturiranu pohranu inference logova. Umjesto običnog teksta, logovi se zapisuju u Parquet datoteke koje podržavaju shemu, kompresiju i brzu analizu. To olakšava kasniju reviziju i obradu podataka.

Implementacija korak po korak za inference logove

Prvo, montirajte NVMe disk na željenu lokaciju (npr. /mnt/nvme0). Zatim kreirajte systemd servis koji pokreće skriptu za bilježenje inference logova. Primjer servisa:

[Unit]
Description=Inference Log Service
After=local-fs.target

[Service]
ExecStart=/usr/local/bin/inference-logger --log-dir /mnt/nvme0/inference-logs
Restart=always
User=inference
Group=inference

[Install]
WantedBy=multi-user.target

Zatim konfigurirajte logrotate za inference logove:

/mnt/nvme0/inference-logs/*.parquet {
    daily
    rotate 90
    compress
    delaycompress
    missingok
    notifempty
    create 0640 inference inference
    postrotate
        systemctl restart inference-log.service
    endscript
}

Na kraju, osigurajte da skripta za bilježenje inference logova zapisuje u Parquet formatu (npr. korištenjem Python biblioteke pyarrow).

Prednosti za revizijsku spremnost inference logova

Ovaj obrazac omogućuje tvrtkama da:

• Pohrane sve potrebne inference logove za reviziju (upiti, odgovori, vremenske oznake, ID korisnika) bez oslanjanja na treće strane.
• Osiguraju integritet podataka (Parquet podržava provjeru valjanosti sheme).
• Brzo pretražuju i analiziraju inference logove (Parquet je optimiziran za analitičke upite).
• Dokažu usklađenost s EU AI Actom prilikom inspekcije.

Dodatno, lokalna pohrana inference logova smanjuje rizik od curenja podataka i olakšava primjenu enkripcije na razini diska (LUKS).