Indeks osjetljivosti formata: Kad je AI osjetljiviji od tvoje bivše

Sto četrdeset tisuća generacija na OpenRouteru, sedam QA zadataka, i jedan zaključak koji bi trebao natjerati svakog ozbiljnog developera da na trenutak zastane i pomisli: koji kurac smo zapravo mjerili cijelo ovo vrijeme? Akademija je upravo objavila rad koji pokazuje ono što svaki stariji inženjer zna od prvog dana — format unosa mijenja rezultat više nego sam model. Dva prompta koja znače istu stvar, napisana na dva načina, i jedan od njih pada na ispitu dok drugi blista. Razlika nije u inteligenciji. Razlika je u tome kako je netko oblikovao rečenicu. I sad su izmislili indeks da to mjere. Kao da si izmislio termometar da dokažeš da voda ključa na sto stupnjeva. Dobrodošli u realnost, gospodo.

Format Sensitivity Index i Parseability Sensitivity Index su imena koja zvuče kao da ih je smislio netko tko plaća konsultante da mu objasne zašto mu auto ne pali. FSI mjeri koliko se točnost modela mijenja ovisno o tome kako si postavio pitanje. PSI mjeri koliko se mijenja sposobnost modela da ispljune odgovor u formatu koji ti možeš parsirati. Dvije metrike koje su trebale postojati prije pet godina, kad su prve kompanije počele objavljivati benchmark rezultate koji su izgledali predobro da bi bili istiniti. Jer jesu bili predobri. Nije model bio pametan. Neki student na praksi je slučajno napisao prompt koji je radio, i cijela firma je slavila pobjedu dok je stvarni proizvod u produkciji ispisivao kineske znakove umjesto JSON-a.

Ovdje se ne radi o akademskoj vježbi. Ovdje se radi o tome da su tisuće developera diljem svijeta gradile sustave na temelju rezultata koji su jednako stabilni kao kula od karata u zemljotresu. Ako ti promjena whitespacea u promptu mijenja rezultat za deset posto, tvoj model nije pouzdan. Tvoj model je sretna okolnost. I ti si prodao rješenje klijentu koji sad ima produkcijski sustav koji se ponaša kao tinejdžer u pubertetu — ponekad briljantan, ponekad katastrofalan, i nikad ne znaš šta ćeš dobiti dok ne probaš.

Sad će industrija izmisliti još jedan layer apstrakcije. Prompt optimizeri koji automatski testiraju stotinu varijacija prije nego što puste model u produkciju. Wrapperi koji dinamički biraju format ovisno o zadatku. Konsultanti koji će naplaćivati bogatstvo da ti objasne da trebaš staviti primjer na kraj pitanja, ne na početak. I sve će to riješiti simptom, ne uzrok. Jer uzrok je jasan: ovi modeli ne razumiju što im govoriš. Oni su nevjerojatno sofisticirani strojevi za prepoznavanje uzoraka koji su istrenirani na podacima gdje se pitanja pojavljuju u određenom formatu. Promijeni format, i uzorak nestaje. To nije inteligencija. To je naučena bespomoćnost u drugačijem ruhu.

Pitanje koje si nitko ne postavlja, a trebao bi: ako je ovaj model tako napredan da će zamijeniti polovicu radne snage, zašto ga možeš zbuniti time što si zarez stavio na pogrešno mjesto? Zašto tržište vrijedno trilijune dolara ovisi o interpunkciji? U svijetu gdje se svaki mjesec objavljuje novi model koji ruši rekorde, ispada da su rekordi jednako krhki kao i format u kojem su testirani. Malo drugačiji wrapper i tvoj pobjednik postaje prosječan. Malo drugačiji separator i tvoj genijalac počinje halucinirati. To nije skalabilno. To nije pouzdano. To je jebeni cirkus.

Najgore od svega je što ovo nije vijest. Bilo tko tko je proveo više od tjedan dana radeći s LLM-ovima zna da su osjetljivi na format. Zna da ista poruka napisana na dva načina daje dva različita odgovora. Zna da dodavanje jednog primjera u prompt može promijeniti sve. Ali industrija je ignorirala taj podatak jer je smetao narativu. Prodaja je zahtijevala savršene brojke, a inženjeri su šutjeli jer su htjeli bonus. I sad akademija dolazi s papirom koji dokazuje ono što su svi znali, ali se nitko nije usudio reći naglas. Kao kad doktor kaže pacijentu da je debeo. Hvala, kapitane očiti.

Rješenje nije u boljim wrapperima. Rješenje nije u više testiranja. Rješenje je u priznanju da ovi alati nisu spremni za ono što im prodavatelji obećavaju. Oni su korisni. Nevjerojatno korisni za specifične zadatke. Ali nisu autonomni agenti koji će zamijeniti programere. Oni su pojačivači produktivnosti koji rade samo ako znaš kako s njima razgovarati. A znanje kako s njima razgovarati je skill koji se uči godinama, ne preko noći. I dok god industrija prodaje modele kao rješenje, a ne kao alat, imat ćemo još ovakvih radova. Još dokaza da je stvarnost kompliciranija od prodajnog pitcha.

Jedina konstanta u tech industriji je sposobnost ljudi da budu iznenađeni očekivanim.

Izvor: arxiv.org