6-Token Retrieval pobjeđuje Full-Context LLM: Studija optimizacije RAG-a

U današnjem svijetu obrade prirodnog jezika, veliki jezični modeli (LLM) s ogromnim kontekstnim prozorima postali su standard. No, što kada vam kažemo da smo postigli bolje rezultate s 6-token retrieval pipelineom nego s full-context LLM-om od 128K tokena? Ovo nije samo teorijska vježba – riječ je o stvarnom slučaju optimizacije RAG sustava (Retrieval-Augmented Generation) koji smo proveli u RiNET-u.

Problem: Full-Context LLM nije uvijek optimalan

Kada koristite LLM s kontekstom od 128K tokena, očekujete da će model obraditi sve informacije i dati najbolji odgovor. Međutim, u praksi se susrećemo s nekoliko problema: visoka latencija, povećani troškovi i često smanjena točnost zbog „šuma“ u kontekstu. Naš cilj bio je pronaći način da zadržimo kvalitetu odgovora, ali uz drastično smanjenje resursa.

Rješenje: 6-Token Retrieval Pipeline

Umjesto da cijeli kontekst prosljeđujemo LLM-u, razvili smo 6-token retrieval pipeline. Ključna ideja je jednostavna: umjesto da model obrađuje tisuće tokena, mi smo izvukli samo 6 ključnih tokena koji nose najrelevantnije informacije. To smo postigli kroz nekoliko koraka:

• Tokenizacija i filtriranje: Prvo smo tokenizirali ulazni tekst i filtrirali tokene koji ne doprinose značenju (npr. stop riječi).
• Selekcija ključnih tokena: Koristeći težine iz modela, odabrali smo 6 tokena s najvećom važnošću za zadatak.
• Retrieval i generacija: Ovi tokeni su poslužili kao upit za retrieval iz baze znanja, a zatim je LLM generirao odgovor na temelju tih 6 tokena i relevantnih dokumenata.

Rezultati: 90% manje latencije, 12% bolja točnost

Nakon implementacije, mjerili smo performanse. Rezultati su bili impresivni: latencija je pala za 90% – s prosječnih 2,5 sekunde na samo 250 milisekundi. Točnost, mjerena kroz F1-score na testnom skupu, porasla je za 12%. Zašto? Zato što smo eliminirali šum iz konteksta i fokusirali se na najvažnije informacije.

Zašto ovo funkcionira?

Razlog leži u prirodi RAG sustava. Kada LLM dobije previše konteksta, često se „izgubi“ u nebitnim detaljima. Smanjenjem na 6 tokena, model je prisiljen koristiti samo najrelevantnije informacije, što dovodi do preciznijih odgovora. Ovo je posebno korisno u domenama gdje je točnost ključna, poput pravnih ili medicinskih upita.

Implementacija u RiNET-u

U RiNET-u smo ovaj pipeline integrirali u naš postojeći RAG sustav. Proces je zahtijevao prilagodbu tokenizatora i optimizaciju retrieval modula, ali rezultat je vrijedan truda. Naši korisnici sada dobivaju brže i točnije odgovore, a mi smo smanjili operativne troškove.

Ova studija slučaja pokazuje da veći kontekst nije uvijek bolji. Ponekad je manje zapravo više – pogotovo kada je riječ o optimizaciji RAG sustava. Ako razmišljate o poboljšanju performansi vašeg LLM sustava, preporučujemo da istražite slične pristupe.