Asinkroni Write-Through: Rješenje bez Two-Phase Commit

U današnjem AI okruženju, često koristimo više pohrana podataka – na primjer, Postgres za transakcijske podatke i vektorsku pohranu za semantičko pretraživanje. Problem nastaje kada trebamo održavati konzistentnost između tih sustava. Tradicionalni pristup, two-phase commit (2PC), obećava atomsko izvršavanje, ali u praksi je često zamka koja donosi više problema nego koristi.

Zašto je two-phase commit problematičan

Two-phase commit zahtijeva koordinatora koji upravlja pripremom i potvrdom transakcije na svim uključenim sustavima. To uvodi dodatnu latenciju, jer svaki korak zahtijeva mrežnu komunikaciju i čekanje na odgovor. U distribuiranim sustavima, 2PC je osjetljiv na kvarove koordinatora, što može dovesti do blokiranja i nedostupnosti. Osim toga, kada jedan od sustava (poput vektorske pohrane) ne podržava 2PC, moramo implementirati kompenzacijske transakcije, što dodatno komplicira sustav.

Asinkroni write-through kao alternativa

Umjesto 2PC, možemo koristiti asinkroni write-through pristup. Ideja je jednostavna: kada se dogodi promjena u primarnoj pohrani (npr. Postgres), mi asinkrono ažuriramo sekundarnu pohranu (vektorsku bazu) putem poruka ili događaja. Ključna je upotreba idempotentnih operacija – ponavljanje iste operacije ne mijenja rezultat. To znači da čak i ako se poruka izgubi ili se operacija ponovi, sustav ostaje konzistentan.

Implementacija s idempotentnim ponavljanjima

Da bismo osigurali pouzdanost, koristimo red poruka (npr. Kafka) i worker procese koji čitaju poruke i izvršavaju ažuriranja. Svaka poruka sadrži jedinstveni identifikator (npr. UUID) koji se koristi za deduplikaciju. Worker prvo provjerava je li operacija već izvršena (npr. provjerom u vektorskoj bazi po ID-u), a zatim izvršava ažuriranje. Ako worker padne, poruka se ponovno šalje, a idempotentnost osigurava da ponovno izvršavanje ne uzrokuje probleme.

Prednosti i izazovi

Glavna prednost je smanjenje latencije – korisnik ne čeka na sinkronizaciju, već se ažuriranje događa u pozadini. Također, sustav je otporniji na kvarove jer ne postoji centralna točka kvara kao kod 2PC. Međutim, postoji izazov: eventualna konzistentnost. To znači da postoji kratki vremenski prozor u kojem podaci u vektorskoj bazi mogu biti zastarjeli. Za mnoge aplikacije (npr. preporuke, pretraživanje) to je prihvatljivo, ali za kritične transakcije možda neće biti.

Praktični savjeti

• Koristite idempotentne ključeve (npr. hash operacije) kako biste izbjegli duplikate.
• Implementirajte retry logiku s eksponencijalnim backoffom za smanjenje opterećenja.
• Monitorirajte red poruka i worker procese kako biste pravovremeno uočili probleme.
• Razmotrite upotrebu outbox obrasca – zapisivanje događaja u istu transakciju kao i promjenu u Postgres, čime se osigurava da se događaj ne izgubi.

Zaključak

Asinkroni write-through s idempotentnim ponavljanjima nudi pragmatično rješenje za održavanje konzistentnosti između različitih pohrana, bez složenosti i latencije two-phase commita. Iako zahtijeva promjenu načina razmišljanja, donosi veću skalabilnost i otpornost, što je ključno u modernim AI sustavima.