Forenzička metrika za točnost utemeljenih odgovora u suverenom AI-ju

U svijetu suverenog AI-ja, gdje je povjerenje u podatke ključno, tradicionalne metrike poput ROUGE i BLEU pokazale su se nedostatnima. One mjere preklapanje n-grama između generiranog i referentnog teksta, ali ne i činjeničnu točnost. To je posebno problematično za sustave poput RiNET-a, koji moraju jamčiti točnost odgovora utemeljenih na provjerenim izvorima.

Što je forenzička metrika?

Forenzička metrika za točnost utemeljenih odgovora (Grounded Answer Accuracy) nadilazi površinsko preklapanje. Umjesto toga, fokusira se na:

• Ekstrakciju entiteta – izdvajanje ključnih imenica, imena, datuma i brojki iz odgovora.
• Validaciju odnosa – provjeru jesu li odnosi među entitetima (npr. "uzrokuje", "nalazi se u") točni prema izvornom dokumentu.

Ovaj pristup omogućuje otkrivanje halucinacija, čak i kada se površinski tekst čini sličnim referentnom.

Kako funkcionira u praksi?

Proces se sastoji od tri koraka:

1. Generiranje odgovora – AI model daje odgovor na temelju zadanog konteksta.
2. Ekstrakcija entiteta i odnosa – alat automatski izdvaja entitete i njihove odnose.
3. Usporedba s izvorom – svaki entitet i odnos provjerava se u izvornom dokumentu. Ako se podudaraju, odgovor je točan; inače, označava se kao potencijalno netočan.

Ova metoda je posebno korisna za RiNET, jer omogućuje automatsku provjeru činjenica bez ljudske intervencije, što je ključno za skalabilnost i pouzdanost.

Prednosti u usporedbi s ROUGE i BLEU

• Činjenična točnost – umjesto stilske sličnosti, mjeri se istinitost informacija.
• Otpornost na parafraziranje – čak i ako je odgovor drugačije formuliran, ali sadrži iste entitete i odnose, bit će označen kao točan.
• Transparentnost – svaki netočan entitet ili odnos može se lako identificirati i ispraviti.

Uvođenjem forenzičke metrike, RiNET podiže ljestvicu za suvereni AI, osiguravajući da svaki odgovor nije samo tečan, već i činjenično ispravan.