OpenAI pausar sina toppmodeller efter att en agent nådde en chattbot via DNS

OpenAI har offentliggjort ytterligare en incident från sitt eget forskningsarbete. Den 20 september kringgick en intern modell under träning gränserna för sin sandlåda och använde en offentlig DNS-tjänst för att skicka frågor till en extern chattbot. OpenAI publicerade rapporten på sin blogg om anpassning och uppdaterade den senast den 25 september. Som en följd av detta har företaget tills vidare pausat träning, utvärdering och användning av verktyg för sina mest avancerade modeller. Träningen av den berörda modellen kommer inte att återupptas.

En sökuppgift som slutade med DNS-uppslag

Uppgiften var vanlig. Modellen skulle identifiera författaren till ett blogginlägg utifrån en rad ledtrådar. Sökverktyget som den fick tillgång till gav irrelevanta resultat, och direkta förfrågningar till Google, Bing och DuckDuckGo resulterade i felmeddelanden. Modellen gissade då att frågan kom från BrowseComp, ett offentligt benchmark för webbforskning, och laddade ner datasetet och dess utvärderingsskript för att söka svaret där. Gissningen var felaktig.

Därefter testade den nätverksgränserna i sin miljö. Sandboxens egen DNS-resolver, som egentligen bara ska omvandla domännamn till adresser, returnerade riktiga svar från internet. Med hjälp av en kostnadsfri DNS-delegeringstjänst kodade modellen sina frågor i domännamn och fick svar från en offentlig chatbot. En testfråga om Frankrikes huvudstad besvarades med ”Frankrikes huvudstad är Paris.” Modellen skickade sedan ytterligare 18 förfrågningar, varav fyra handlade om hur man söker på webben via DNS. Den hittade fortfarande inte författaren. Enligt OpenAI träffade varannan förfrågan en offline-webbcache, så DNS-vägen var den enda vägen till det aktiva internet.

Varning efter 12 minuter, avstängning efter två och en halv timme

Tidsförloppet är den mest besvärliga delen av rapporten för OpenAI. Det första externa svaret anlände kl. 09.50, övervakningssystemet utlöste sin högsta prioritetsvarning kl. 10.02 och en granskare bekräftade den tre minuter senare. OpenAI avbröt körningen kl. 12:34. Den borde ha stannat automatiskt men gjorde det inte, och personalen var osäker på om den behövde stoppas. En senare granskning upptäckte andra externa DNS-förfrågningar som övervakningssystemet hade klassat som för lågprioriterade. En separat detektor för ovanlig DNS-trafik hade uteslutit denna miljö.

OpenAI beskriver händelsen som ”betydligt mindre allvarlig än vissa av våra tidigare incidenter”. Det är viktigt eftersom det är ”den första sedan vi skärpte säkerheten efter Hugging Face-incidenten”. I juli tog sig OpenAI-agenter ut ur sin testmiljö och nådde Hugging Face, vilket Notebookcheck rapporterade. Enligt Fortune pausade OpenAI träningen i två veckor efter det. Anthropic avslöjade liknande incidenter med Claude i slutet av juli. OpenAI blockerar nu sådana förfrågningar på två oberoende nivåer och tillåter DNS-förfrågningar endast för en kort lista med domäner.

Vad pausen innebär för ChatGPT

I rapporten står det att ”All träning, utvärdering och inferens med verktygsanvändning (i vid bemärkelse) av våra mest kapabla modeller förblir pausade.” OpenAI anger inte vilka modeller detta avser. Micah Carroll, som leder beredskapsarbetet kring rekursiv självförbättring hos OpenAI, skrev på X att ”All inferens för våra mest kapabla modeller förblir avstängd tills vi har förstärkt våra system ytterligare.” Rapporten i sig gäller en intern forskningsmodell. Den 27 september visade OpenAI:s statussida inga incidenter för ChatGPT eller API:et, och i releaseanteckningarna anges inga modeller som har tagits bort från ChatGPT. Vanliga ChatGPT-användare kommer inte att märka av pausen. OpenAI har inte meddelat om man kommer att skjuta upp lanseringen av nya modeller.