In-Process KV s WAL: Revolucija Sinkronizacije Stanja Agenta

U svijetu distribuiranih sustava, sinkronizacija stanja agenata često se oslanja na vanjske servise poput Redis-a. No, što ako vam treba jednostavnije, brže i pouzdanije rješenje? Naš tim u RiNET-u suočio se s izazovom visoke režije i složenosti koju donosi Redis, te smo odlučili istražiti alternativu: in-process KV spremište s write-ahead logom (WAL). Ovaj pristup ne samo da pojednostavljuje arhitekturu, već i značajno smanjuje latenciju i opterećenje mreže.

Zašto smo napustili Redis?

Redis je moćan alat, ali za naš slučaj korištenja – sinkronizaciju stanja agenata – postao je usko grlo. Svaka promjena stanja zahtijevala je mrežni poziv, serijalizaciju i deserijalizaciju, što je unosilo kašnjenje i povećavalo složenost. Osim toga, održavanje Redis klastera i upravljanje replikacijom dodatno je opterećivalo naš tim. Trebali smo rješenje koje je bliže podacima, s manje pokretnih dijelova.

In-Process KV: Podaci na dohvat ruke

In-process KV spremište smješteno je unutar samog procesa aplikacije, što eliminira mrežnu komunikaciju. To znači da je pristup podacima gotovo trenutačan, a latencija se mjeri u nanosekundama, a ne milisekundama. Za naš slučaj, gdje agenti često ažuriraju svoje stanje, ovo je donijelo ogromno poboljšanje performansi. Umjesto slanja svake promjene na udaljeni server, sve se događa lokalno, a WAL osigurava trajnost.

Write-Ahead Log: Trajnost bez kompromisa

Jedna od glavnih briga s in-process rješenjima je gubitak podataka u slučaju pada procesa. WAL rješava taj problem zapisivanjem svake promjene u log datoteku prije nego što se primijeni u memoriji. Ako proces padne, možemo ponovno primijeniti sve zapise iz loga i vratiti stanje. Ovaj mehanizam osigurava trajnost bez potrebe za vanjskim servisom, a istovremeno je izuzetno brz jer je zapisivanje u log sekvencijalno.

Referentna implementacija

Kako bismo ilustrirali koncept, pripremili smo jednostavnu referentnu implementaciju u programskom jeziku Go. Koristimo strukturu KVStore koja interno koristi mapu za pohranu i WAL za trajnost. Svaka operacija zapisuje se u WAL prije izvršavanja, a pri pokretanju učitavamo postojeći log i rekonstruiramo stanje.

• Jednostavnost: Nema vanjskih ovisnosti, samo standardna biblioteka.
• Performanse: Lokalni pristup podacima bez mrežnog overheada.
• Pouzdanost: WAL osigurava da ni jedna promjena nije izgubljena.

Rezultati i zaključak

Nakon migracije, primijetili smo smanjenje latencije za 80% i pojednostavljenje operacija. Naš stack sada ima manje pokretnih dijelova, što olakšava održavanje i skaliranje. Iako Redis ostaje izvrstan izbor za mnoge slučajeve, za sinkronizaciju stanja agenata in-process KV s WAL-om pokazao se kao superiorno rješenje. Preporučujemo svima koji se suočavaju sa sličnim izazovima da razmotre ovaj pristup.