Kad softver više nije softver, a programeri su postali vračevi

Trideset godina sam gradio mreže i servere u vremenu kad je softver radio onako kako si ga napisao. Ako si poslao paket na port 80, znao si da će stići na port 80. Ako si napisao funkciju koja vraća zbroj dva broja, vraćala je zbroj dva broja — u ponedjeljak, u utorak, na Praznik rada i na Badnjak. Determinizam nije bio filozofska kategorija, bila je tehnička specifikacija. Danas, nakon što smo u industriju ugurali modele koji su po definiciji stohastički, programeri sjede i gledaju u monitoring dashboard dok im AI odbija generirati kod za login formu jer je "previše asertivan".

Problem nije u tome što LLM-ovi ponekad kažu ne. Problem je u tome što kažu ne iz razloga koje nitko ne razumije, na način koji se mijenja iz dana u dan, i s posljedicama koje se testiraju "vibe checkom". Jebote, vibe check. To je metodologija kojom smo u devedesetima provjeravali jel radi konekcija — pingaš, pa ako se vrati, dobro je. Danas kompanije shipaju enterprise AI na principu "izgleda mi ok, ajde pushaj". A sutra, kad model odbije procesuirati transakciju jer je "osjetio nelagodu", imaš sastanak s odvjetnicima.

Drift. Retries. Refusal patterns. To su tri riječi koje bi svaki CTO trebao izvješiti uokvirene u svoj ured, pored one diplome s MBA-a koju je kupio za 15 tisuća eura. Drift znači da danas model radi, sutra ne radi, a prekositra radi drugačije — i ti nemaš pojma zašto. Retries su onaj očajnički klik na "pokušaj ponovno" koji ništa ne mijenja osim tvoje razine stresa. A refusal patterns su najzabavniji dio: model jednostavno kaže ne. Neću. Ne mogu. Nemoj me pitati tako. I nemaš rekurzivni poziv koji će to popraviti, nemaš try-catch blok koji će uhvatiti egzistencijalnu krizu neuronske mreže.

Tradicionalni softver je imao bugove. Znao si što su, gdje su, i kako ih popraviti. Bug u LLM-u nije bug — on je osobina. On je inherentna karakteristika sustava koji je dizajniran da bude nepredvidiv, a onda ga pokušavamo ugurati u poslovne procese koji zahtijevaju apsolutnu predvidivost. To je kao da unajmiš pjesnika da ti vodi knjigovodstvo. Ponekad ti napiše divan sonet o amortizaciji, a ponekad odbije raditi jer ga podsjećaš na bivšu.

I sad dolazi ona najbolja fora: kompanije grade cijele inženjerske timove koji se bave isključivo monitoringom ponašanja modela. Ne pišu kod. Ne optimiziraju baze. Ne rade arhitekturu. Sjede i gledaju u grafove koji pokazuju koliko puta je model rekao "ne" u zadnjih sat vremena, i pokušavaju pogoditi zašto. To je posao. To je ono za što im plaćaju 200 tisuća dolara godišnje. I znate što? Nitko od njih ne zna odgovor. Samo imaju bolje hipoteze od ostalih.

Ako uzmeš klasični unit test i baciš ga na LLM, on će proći jedanput, pasti drugi put, i treći put vratiti odgovor na španjolskom s receptom za paellu. Ne zato što je kod loš, nego zato što jezik nije kod, a model nije program. Model je vjerojatnosni distribucijski stroj koji je progutao cijeli internet i sad pokušava pogoditi koja riječ najvjerojatnije slijedi iza prethodne. Ponekad pogodi točno. Ponekad pogodi "odbijam odgovoriti na ovo pitanje jer krši moje etičke smjernice." I to je tvoja enterprise aplikacija.

Najveća ironija? Industrija je potrošila milijarde da napravi modele koji su što sličniji ljudima, a sad troši još milijarde da ih natjera da se ponašaju kao strojevi. Želimo da budu kreativni, ali samo kad mi kažemo. Želimo da budu fleksibilni, ali ne previše. Želimo da odbijaju neetične zahtjeve, ali da ne odbijaju one koji su etični, iako granicu povlačimo mi — ljudi koji smo i sami etički nepouzdani. I onda se čudimo što modeli drifte, refusaju i retryaju.

Rješenje? Nema ga. Ne postoji čarobni monitoring alat koji će riješiti stohastičku prirodu stohastičkog sustava. Postoji samo prihvaćanje da je enterprise AI u ovom trenutku skupa lutrija s povratom koji varira iz dana u dan, i da ćeš trebati više ljudi da nadgledaju model nego što bi trebao da ga sam napišeš. Ali to je cijena koju plaćaš za iluziju da si uštedio na programerima.

Drift, retries i refusal patterns nisu bugovi. Oni su feature. Samo što je feature koji prodaješ potpuno drugačiji od featurea koji korisnik dobije. Kao kad kupiš automobil i shvatiš da povremeno odbija upaliti jer je "umoran". Svaka čast, napravili ste auto s osobnošću. Sad ga vratite u tvornicu i napravite onaj koji vozi.

Izvor: venturebeat.com