Izgradnja suverenog embedding pipelinea: BGE-M3, pgvector i Qdrant usporedno

U današnjem svijetu umjetne inteligencije, izgradnja pouzdanog i suverenog embedding pipelinea ključna je za svaku organizaciju koja želi zadržati kontrolu nad svojim podacima. RiNET je proveo opsežnu usporedbu dvaju vodećih rješenja za pohranu i pretraživanje embeddinga: pgvector (PostgreSQL ekstenzija) i Qdrant (namjenski vektorski database). Testiranje je provedeno na korpusu od 500.000 dokumenata, koristeći BGE-M3 model za generiranje embeddinga.

Zašto BGE-M3?

BGE-M3 je višejezični embedding model koji podržava do 8192 tokena po unosu, što ga čini idealnim za dokumente s dugim kontekstom. Njegova sposobnost generiranja embeddinga za više od 100 jezika, uključujući hrvatski, omogućuje nam izgradnju sustava koji razumije lokalne specifičnosti bez oslanjanja na vanjske API-je.

pgvector: Integracija s postojećom infrastrukturom

pgvector je PostgreSQL ekstenzija koja dodaje podršku za vektorske operacije. Njegova glavna prednost je što ne zahtijeva dodatne servise – ako već koristite PostgreSQL, pgvector se integrira izravno. U našem testiranju, pgvector je pokazao solidne performanse za upite s do 10.000 vektora, ali pri većim opterećenjima (500K dokumenata) latencija je rasla linearno. Indeksiranje s IVFFlat metodom smanjilo je vrijeme pretraživanja za 40%, ali je utjecalo na točnost rezultata.

Qdrant: Namjenski vektorski database

Qdrant je dizajniran isključivo za vektorsko pretraživanje. Njegova arhitektura s HNSW indeksom omogućuje pretraživanje milijuna vektora u milisekundama. U našem testu, Qdrant je obradio 500K dokumenata s prosječnom latencijom od 12 ms po upitu, što je 3 puta brže od pgvectora. Također, Qdrant nudi ugrađenu podršku za filtriranje po metapodacima i skaliranje na više čvorova.

Usporedba performansi

• Brzina upita: Qdrant (12 ms) vs pgvector (35 ms) – Qdrant je 65% brži.
• Točnost: Oba rješenja dala su identične rezultate za iste embeddinge (BGE-M3), jer točnost ovisi o modelu, ne o bazi.
• Skalabilnost: Qdrant podržava distribuirane klastere, dok pgvector zahtijeva ručno particioniranje.
• Integracija: pgvector se lako integrira s postojećim PostgreSQL sustavima, dok Qdrant zahtijeva dodatni servis.

Što smo zadržali i zašto?

Nakon testiranja, RiNET je odlučio zadržati Qdrant kao primarno rješenje za embedding pipeline. Razlozi su jasni: brzina, skalabilnost i ugrađena podrška za napredne značajke poput filtriranja i re-rankinga. Međutim, za manje projekte ili one koji već koriste PostgreSQL, pgvector ostaje odličan izbor zbog jednostavnosti implementacije. Kombinacija BGE-M3 i Qdrant omogućuje nam izgradnju suverenog sustava za pretraživanje koji je brz, točan i potpuno pod našom kontrolom.