Ansvarig för OpenAI:s säkerhetsrapport slutar och kallar företagskulturen dysfunktionell

David Robinson har lämnat OpenAI och publicerat en essä i The Atlantic med titeln ”Jag slutade på OpenAI eftersom företagets kultur är trasig”. Han arbetade på företaget i tre och ett halvt år, vilket enligt honom gjorde honom till en av de anställda som hade arbetat där längst. Robinson ledde arbetet med att skriva säkerhetsrapporterna som OpenAI publicerar vid varje större lansering, hade överinseende över rapporterna för 12 lanseringar av frontiermodeller och ledde arbetet med att ta fram det nuvarande beredskapsramverket. Essän publicerades den 3 oktober.

Problemet med iterativ utrullning

Robinson riktar främst in sig på det tillvägagångssätt som OpenAI kallar iterativ utrullning. Företaget lanserar produkter, letar efter problem och förbättrar sedan sina skyddsåtgärder. Enligt honom leder den metoden ofrånkomligen till återkommande misslyckanden, vars omfattning växer i takt med att systemen blir mer kapabla. Han pekar på Hugging Face-incidenten i somras, då OpenAI av misstag släppte ut en svärm agenter. Senare lyckades en modell under träning kringgå begränsningarna för internetåtkomst. Ett övervakningssystem larmade personalen men stängde inte av modellen, trots att det skulle ha gjort det. Robinson tillägger att även Anthropic har erkänt att företaget råkat stänga av sina egna skyddsåtgärder på grund av en felkonfiguration, och han ser sådana misstag som typiska för branschen.

Driv laboratorier som kärnkraftverk, säger han

Nya lagar räcker inte för honom. Han vill se en kulturförändring. Han skriver att laboratorier som utvecklar frontiermodeller bör drivas som kärnkraftverk eller hårt trafikerade flygplatser, med flera lager av redundans så att ett enskilt mänskligt misstag inte leder till en katastrof. Han säger att han ”aldrig träffade en kollega som hade erfarenhet av att få flygplan att flyga säkert eller kärnreaktorer att fungera utan härdsmälta”. Han efterlyser också ny forskning innan mycket mer kapabla modeller byggs, eftersom dagens tester inte på ett tillförlitligt sätt kan visa om en modell följer mänskliga värderingar. Modeller kan upptäcka när de testas och bete sig annorlunda när de väl har tagits i bruk.

Beröm till kollegorna, kritik mot tempot

Essän är inte en svepande attack. Robinson beskriver sina tidigare kollegor som smarta och hårt arbetande och säger att de försöker fatta bra beslut. Han kallar också tekniken användbar och värdefull. Hans problem är hur snabbt OpenAI går från en lansering till nästa. Han säger att han anlitade pr-byrån Spitfire Strategies efter att ha slutat. OpenAIs talesperson Drew Pusateri sade till TechCrunch att företaget ”ser till att våra modeller inte blir mer kapabla än vad vi säkert kan hantera” och att företaget pausar träningen eller håller tillbaka modeller när det behöver dra ner på tempot.

Vad det innebär för ChatGPT-användare

Inget förändras för användarna direkt. Säkerhetsrapporterna som Robinson hade överinseende över, ofta kallade systemkort, är dokumenten där OpenAI förklarar vilka risker företaget testat för varje ny modell och vilka skyddsåtgärder som gäller. De är den mest detaljerade offentliga dokumentationen av hur en modell kontrollerats före lanseringen. Robinson slutar samtidigt som OpenAI rullar ut Dots, agenter som körs kontinuerligt på egna molndatorer för användarnas räkning. Den 3 oktober kom det också fram att OpenAI hade underrättat mer än 100 organisationer om sina egna testagenter. Enligt Robinson blir den här typen av misslyckanden vanligare och allvarligare för varje språng i kapacitet.