Zašto smo prekinuli Kafku za Postgres LISTEN/NOTIFY

Na RiNET-u smo nedavno donijeli odluku da prekinemo korištenje Kafka-a za streaming događaja agenata i prihvatimo Postgres LISTEN/NOTIFY kao alternativu. Odluka je bila rezultat dugog razmišljanja o potrebama našeg sustava, operativnim troškovima i skalabilnosti.

Problemi s Kafka-om

Kafka je vrlo moćan alat za streaming podataka, ali za naše potrebe postao je previše složen. Upravljanje više komponenti, konfiguracija, sigurnost i skalabilnost zahtijevali su dodatne napore. Također, za našu veličinu i potrebe, Kafka nije bio najefikasniji izbor. Učestalost događaja i potreba za brzim odgovorima iziskivali su jednostavniji i brži model komunikacije.

Postgres LISTEN/NOTIFY kao rješenje

Postgres LISTEN/NOTIFY je funkcija koja omogućuje bazu podataka da sluti promjene u tabelama i šalje obavijesti klijentima. Ova funkcija je ugrađena u Postgres i ne zahtijeva dodatne sustave ili komponente. U našem slučaju, koristimo je za streaming događaja agenata, što je izuzetno efikasno.

• Jednostavniji operativni procesi: Bez potrebe za konfiguracijom i održavanjem Kafka klastera, operativni procesi su znatno jednostavniji.
• Manje komponenti: Ne postoji potreba za dodatnim sustavima, što smanjuje rizik od grešaka i povećava pouzdanost.
• Dovoljna provodljivost: Za našu skalu, Postgres LISTEN/NOTIFY pruža dovoljnu provodljivost i brzinu.

Naša prelazna faza je bila izuzetno snažna. Upravljanje je postalo jednostavnije, a performanse su se povećale. Također, smanjen je broj potrebnih resursa i povećana je sigurnost. Uočili smo da je Postgres LISTEN/NOTIFY pravi izbor za naše potrebe, a sada se fokusira na daljnje poboljšanje i skaliranje.

Zaključak

Prelazak s Kafka-a na Postgres LISTEN/NOTIFY bio je ključni korak u našem razvoju. Ovaj pristup omogućuje nam brži i pouzdaniji streaming podataka, s manjim troškovima i većom fleksibilnošću. Ovo je samo jedan primjer kako se moderni sustavi mogu prilagoditi potrebama i skalama.