OpenAI je raspustio tim koji je trebao paziti da vas AI ne ubije, a dionice su rasle jer je to...

Četrdeset i jedna osoba je, prema zadnjim brojkama, radila u Preparedness timu — skupini ljudi čiji je jedini posao bio gledati u modele koje tvrtka pravi i pitati ono neugodno pitanje: što ako ovo radi točno ono za što je programirano, samo bolje nego što smo mislili? Sada su raspoređeni po drugim odjelima, neki su otišli sami, a posao evaluacije rizika je parceliran na manje dijelove i podijeljen postojećim grupama koje već imaju svoje rokove, svoje KPI-jeve i svoje šefove koji ne vole kad im netko usporava demo.

Nije teško zamisliti kako je taj sastanak izgledao. Velika bijela soba, stol od hrastovine, projektor s grafikonima koji idu gore, i netko tko tiho kaže da model pokazuje znakove emergentnog ponašanja koje bi moglo biti problematično. I onda šutnja. I onda netko pita: koliko će to usporiti launch? I onda se shvati da je pitanje bilo krivo postavljeno od početka, jer u Silicijskoj dolini postoji samo jedan rok, a to je jučer.

Ovo nije priča o zlu. Ovo je priča o logici. Ako je tvoj posao napraviti što pametniji model, svaki dan koji potrošiš na pitanje "a što ako" je dan koji si izgubio u utrci s nekim tko to pitanje ne postavlja. Nije da su ti ljudi bili glupi ili nepotrebni — bili su upravo suprotno, bili su kočnica. A u industriji koja se utrkuje prema rubu litice, kočnica je najskuplja opcija na meniju.

I zato sada imamo situaciju u kojoj je tvrtka koja je javno obećala da će sigurnost staviti u središte svega — doslovno su to napisali u svojim dokumentima, s potpisima i pečatima — tiho raspustila jedini mehanizam koji je to obećanje činio tehnički provjerljivim. Ne kao kaznu, ne kao priznanje neuspjeha. Kao reorganizaciju. Kao optimizaciju procesa. Kao što se mijenja raspored sjedenja u uredu da bi se poboljšala sinergija.

Ako si ikada radio u firmi koja je imala odjel za kvalitetu, znaš točno kako ovo završava. Prvo se odjel smanji. Onda se spoji s nekim drugim odjelom. Onda dobije novog šefa koji ne razumije zašto treba toliko testiranja kad su rokovi ovako kratki. I na kraju se testiranje pretvori u checkbox na kraju sprint ciklusa, netko ga klikne i svi idu kući zadovoljni. Razlika je u tome što ovdje proizvod koji se pušta u svijet nije aplikacija za dostavu hrane ili CRM sustav — to je tehnologija koja bi mogla, naglašavam MOGLA, ali nitko više nije tu da to provjeri, promijeniti način na koji funkcionira cijelo društvo.

Postoji stara šala iz 90-ih, iz vremena kad sam postavljao prve servere i učio ljude što je to zapravo internet, a ne ono što su vidjeli u filmovima. Šala ide ovako: kako znaš da je sustav spreman za produkciju? Zato što je programer rekao da je spreman. Kako znaš da je programer rekao da je spreman? Zato što je prestao raditi na njemu. To je bilo smiješno jer je bilo istinito za software od deset tisuća linija koda. Za modele s trilijunima parametara, istina je manje smiješna, a više nalik na onaj trenutak u horor filmu kad likovi odluče da je podrum ipak dobra ideja jer tamo ima svijeća.

Ne kažem da će se dogoditi nešto katastrofalno sutra ili za godinu dana. Kažem da je struktura koja je trebala detektirati katastrofu upravo uklonjena, i to ne od strane vanjskog neprijatelja, nego od strane ljudi koji su odgovorni za tvrtku. To je kao da si skinuo detektor dima jer ti smeta kad zapišti dok pečeš kruh. Naravno da smeta. Ali ono što detektor radi kad ne pečeš kruh je jedini razlog zašto uopće imaš kuću.

I sad dolazi onaj dio koji je istovremeno najciničniji i najistinitiji: ljudi koji su otišli iz tog tima neće imati problema s pronalaskom posla. Njihove vještine su tražene, njihova imena su poznata, i svaka druga tvrtka koja radi na modelima će ih rado zaposliti — ne zato što vjeruje u sigurnost, nego zato što je dobro imati nekoga tko može reći da su imali odjel za sigurnost. Vrstu ljudi koji su bili u Preparedness timu se ne zapošljava da bi se spriječila katastrofa. Zapošljavaju se da bi se moglo reći da se ulaže u prevenciju. To je razlika između kupovine osiguranja i kupovine mirne savjesti, a tržište te razlike ne vidi — tržište vidi samo papir.

Najljepši dio cijele priče je način na koji je ovo komunicirano. Nema dramatičnih objava, nema otvorenih pisama, nema press konferencija. Samo tiho prebacivanje ljudi s jednog projekta na drugi, par internih mailova, i eventualno jedan ili dva članka u stručnim medijima koje će pročitati ljudi koji ionako prate to područje. Svijet će nastaviti raditi, dionice će rasti, modeli će izlaziti prema rasporedu, i nitko neće primijetiti da je netko tiho ugasio svjetlo u sobi u kojoj su se postavljala pitanja na koja nitko nije htio znati odgovor.

Pitam se što bi se dogodilo da je bilo koja druga industrija ovako tretirala svoju sigurnosnu infrastrukturu. Zamisli da aviokompanija raspusti tim koji pregledava avione prije polijetanja jer usporava operativu. Ili da bolnica ukine odjel za kontrolu infekcija jer troši previše na rukavice. Zvuči apsurdno, zar ne? Ali u tehnologiji je to normalno, jer u tehnologiji se rizik mjeri u izgubljenom tržišnom udjelu, a ne u izgubljenim životima. Još uvijek.

Možda sam prestar i previše vidio da bih se uzbuđivao oko stvari koje se nisu dogodile. Možda su ti ljudi u Preparedness timu bili previše oprezni, previše paranoični, previše skloni vidjeti prijetnje tamo gdje ih nema. Možda je raspuštanje tog tima zapravo znak zrelosti industrije koja je shvatila da su scenariji sudnjeg dana bili pretjerani. Sva ta priča o tome kako bi nas svi mogli uništiti je bila korisna za privlačenje pažnje i sredstava, ali sada kada je tehnologija postala stvarna, vrijeme je da se pozabavimo stvarnim problemima.

A možda je ovo samo još jedan korak u obrascu koji se ponavlja od kad postoji industrija: prvo obećanje, onda oprez, pa kompromis, pa zaborav. I na kraju, kad se dogodi ono što se dogoditi mora, svi će reći kako nitko nije mogao predvidjeti. I bit će u pravu. Jer oni koji su mogli predvidjeti su upravo raspušteni, a njihova upozorenja su arhivirana negdje u mapi koju nitko više ne otvara.

OpenAI je raspustio tim za sigurnost i to je najlogičnija stvar koju je napravio ove godine. Logika poslovanja je jednostavna: ono što ne možeš izmjeriti, ne možeš ni popraviti. A ono što ne možeš popraviti, ne možeš ni prodati. Zato se prodaje brzina, prodaje se ambicija, prodaje se vizija budućnosti u kojoj će svi biti sretni i bogati. A sigurnost? Sigurnost je trošak. I kao svaki trošak, mora se optimizirati.

Jedina utjeha je da će, kada dođe dan kad netko upita "tko je odgovoran za ovo", postojati savršeno jasan, dokumentiran, revidiran i arhiviran odgovor. Odgovor koji će se sastojati od reorganizacije, optimizacije i sinergije. I svi će klimati glavama, jer tko smo mi da sumnjamo u procese koji su nas doveli dovde?

Izvor: the-decoder.com