Benchmarking agenata: Zašto koristimo prilagođene scenarije umjesto standardnih LLM evaluacija

U svijetu umjetne inteligencije, standardne evaluacije poput MMLU ili HellaSwag već su godinama zlatni standard za mjerenje znanja jezičnih modela. No, kada je riječ o agentima – AI sustavima koji samostalno izvršavaju višestruke korake u stvarnom vremenu – ovi testovi jednostavno ne daju cjelovitu sliku. Zašto? Zato što mjere statičko znanje, a ne dinamičko zaključivanje i prilagodbu.

Ograničenja standardnih evaluacija

MMLU testira široko znanje kroz pitanja s višestrukim izborom, dok HellaSwag procjenjuje sposobnost predviđanja sljedećeg koraka u nizu. Iako korisni za osnovne uvide, ovi benchmarkovi ne hvataju ključne aspekte ponašanja agenata: donošenje odluka u uvjetima neizvjesnosti, planiranje višestrukih koraka, oporavak od pogrešaka i interakciju s dinamičkim okruženjem. Agent koji savršeno riješi MMLU može potpuno podbaciti u stvarnom zadatku poput rezervacije leta ili upravljanja inventarom.

Zašto prilagođeni scenariji?

U RiNET-u smo razvili pristup temeljen na scenarijima koji simuliraju stvarne uvjete. Naši benchmarkovi uključuju zadatke poput: 'Kupac je naručio proizvod, ali je došlo do greške u dostavi – agent mora kontaktirati logistiku, obavijestiti kupca i ponuditi alternativu.' Ovakvi scenariji testiraju više od znanja – provjeravaju snalažljivost, prioritizaciju i komunikaciju. Ključne prednosti su:

• Dinamičko okruženje: Scenariji se mijenjaju ovisno o akcijama agenta, što omogućuje procjenu prilagodljivosti.
• Višestruki koraci: Agenti moraju planirati i izvršavati niz radnji, a ne samo odgovoriti na jedno pitanje.
• Realizam: Zadaci su preuzeti iz stvarnih poslovnih procesa, što daje relevantnije uvide.
• Mjerenje pogrešaka: Bilježimo ne samo uspjeh, već i vrstu i učestalost pogrešaka, što pomaže u poboljšanju modela.

Kako to izgleda u praksi?

Na primjer, u testu 'Povrat proizvoda' agent mora identificirati kupca, provjeriti povijest narudžbi, generirati RMA broj, obavijestiti logistiku i poslati potvrdu kupcu. Standardni LLM eval bi samo provjerio zna li agent što je RMA broj. Naš scenarij testira cijeli proces, uključujući sposobnost rješavanja neočekivanih situacija poput netočnog unosa podataka. Rezultati su dramatično drugačiji – modeli koji blistaju na MMLU često padaju na ovim zadacima.

Zaključak

Standardne evaluacije su koristan alat, ali nisu dovoljne za procjenu agenata. Prilagođeni scenariji omogućuju dublje razumijevanje stvarnih sposobnosti i ograničenja AI sustava. U RiNET-u vjerujemo da je jedini način za izgradnju pouzdanih agenata testiranje u uvjetima koji oponašaju stvarni svijet – s njegovom složenošću, nepredvidivošću i potrebom za kontinuiranim učenjem.