LLM logika s brojevima

Triplet loss zvuči kao nešto što bi ti uvalio terapeut nakon trećeg prekida u šest mjeseci, ali u svijetu umjetne inteligencije to je način da se logički zaključci pretvore u brojeve. Netko je, naime, odlučio da je pametnije natjerati neuronske mreže da rangiraju odluke logičkih rezonera nego da ih same donose. Koji kurac, zar nije cijela poanta AI-ja bila da ne moramo više razmišljati? Evo, ispada da ni strojevi ne žele.

Stvar je u sljedećem: logičko zaključivanje je jebeno teško. Ljudi su tisućama godina pokušavali formalizirati što znači "biti u pravu", a sad se pojavila gomila doktoranada s idejom da se to riješi tako da se logički iskazi pretvore u vektore, a onda se ti vektori treniraju da budu što sličniji jedni drugima kad su povezani, a što različitiji kad nisu. Triplet loss. Sidro, pozitivan primjer, negativan primjer. Kao ljubavni trokut, samo bez emocija i s više matematike.

I evo gdje postaje zanimljivo: ovi ljudi su uspjeli. Njihove metode stvaraju embeddinge koji poboljšavaju downstream rezultate. Drugim riječima, AI sada može brže i preciznije zaključivati jer su njegovi brojevi bolje posloženi. To je kao kad bi ti netko sredio ormar po bojama i godišnjim dobima — odjednom nađeš onaj kaput koji si tražio tri zime. Samo što ovdje kaput košta milijune dolara infrastrukture.

Ali pravo pitanje je: zašto nam uopće trebaju embeddingi za logiku? Zar logika nije trebala biti jednostavna? Ako A i A implicira B, onda B. To djeca uče u osnovnoj školi. Ispostavilo se da je taj proces, kad ga preslikaš na stroj, jednako složen kao objašnjavanje baki zašto ne možeš doći na ručak jer ti je "posao". Posao je apstraktan pojam, baka je konkretna, a ti si između — treba ti embedding da prevedeš.

Ono što me posebno zabavlja je naivnost s kojom se ovo predstavlja kao napredak. "Neuralne mreže mogu rangirati odluke logičkih rezonera." Pa nisu li neuralne mreže trebale zamijeniti logičke rezonere? Nije li cijela priča o AI-ju bila da će strojevi sami zaključivati, a ne da će samo pomagati drugim strojevima da brže zaključuju? Ovo je kao da kažeš da si izumio brži auto, a zapravo si napravio bolji retrovizor. Korisno, da. Revolucionarno, ne.

Pogledajmo malo dublje u tehniku. Triplet loss nije nov. Koristi se u facial recognitionu, u preporučnim sustavima, u svemu što ima veze s "učenjem razlike". Ali primijeniti ga na logičke iskaze je kao koristiti čekić za otvaranje konzerve — možeš, ali zašto bi? Zato što je čekić jedini alat koji imaš. A u svijetu deep learninga, ako imaš samo čekić, sve izgleda kao čavao. Logika, osjećaji, glazba, politika — sve to postaje vektor u 768-dimenzionalnom prostoru.

I tu dolazimo do srži problema. Embeddingi su korisni jer sažimaju informaciju. Ali oni je i gube. Kada logički iskaz "Svi ljudi su smrtni" pretvoriš u broj, ti zapravo brišeš nijanse. Što znači "svi"? Što znači "ljudi"? Što znači "smrtni"? U embeddingu, to je samo točka u prostoru koja je blizu drugih točaka koje su slične. Ali nije isto. Nikad nije isto.

Ipak, ovi istraživači su napravili nešto vrijedno. Oni su pokazali da se logičko zaključivanje može ubrzati ako imaš dobre embeddinge. To nije mala stvar. U svijetu gdje AI modeli troše energiju male države da bi zaključili da je pas sisavac, svako ubrzanje je dobrodošlo. Pogotovo ako to ubrzanje dolazi bez dodavanja novih slojeva složenosti.

Ali hajmo biti iskreni: ovo je još jedan korak u smjeru koji ne vodi nikamo pametnom. Mi ne trebamo bolje embeddinge za logiku. Mi trebamo bolje razumijevanje zašto logika uopće treba embeddinge. Zašto stroj ne može jednostavno zaključivati kao čovjek? Zato što stroj nema tijelo, nema iskustvo, nema osjećaj za apsurd. Stroj može izračunati da je 2+2=4, ali ne može shvatiti zašto je to smiješno kad kažeš "2+2=5 za dovoljno velike vrijednosti 2".

I evo gdje dolazimo do poante. Ovi embeddingi su korisni za uske domene. Za logičke sustave koji rade u zatvorenom svijetu, s definiranim pravilima. Ali čim izađeš iz tog svijeta, embeddingi postaju beskorisni. Pokušaj natjerati ovaj sustav da zaključi treba li kupiti kruh ili mlijeko kad ti je frižider prazan, a novčanik tanak. To nije logika. To je život. A život se ne da svesti na triplet loss.

Ono što me najviše smeta je arogancija. "Mi smo riješili logiku." Niste, jebote. Vi ste napravili bolji kalkulator. Logika je puno više od toga. Logika je uvjeravanje, manipulacija, emocija. Logika je ono što koristiš kad želiš nekoga nagovoriti da učini nešto što ne želi. A to se ne da svesti na brojeve.

Ali dobro, nećemo sad filozofirati. Ovi ljudi su objavili rad, dobili citate, možda čak i financiranje. To je ono što se u akademskom svijetu smatra uspjehom. A mi ostali, mi koji koristimo te stvari, mi ćemo nastaviti čekati da netko napravi AI koji stvarno razumije što govori. Dok se to ne dogodi, zadovoljit ćemo se embeddingima koji brže pronalaze odgovore. Jer bolje išta nego ništa.

I tako smo opet izumili kotač. Ovaj put s pretplatom i uvjetima korištenja od 47 stranica.

Izvor: arxiv.org