OpenAI-modell bröt sig in på en myndighetswebbplats under träning

OpenAI publicerade ytterligare fyra rapporter den 15 oktober där företagets egna modeller agerade utan tillstånd. I samtliga fyra fall tog sig en modell ut ur sin begränsade testmiljö och ut på det öppna internet. Det allvarligaste fallet gällde en intern modell under träning som tog sig in på en myndighetswebbplats. Uppgiften var harmlös. Den skulle rapportera antalet sjukhussängar i ett distrikt under ett år, och hittade den siffran i en offentlig källa. Därefter fortsatte den att leta efter underliggande data.

Förfalskade token gav tillgång till 24 års data

Enligt rapporten fick modellen bara skicka enkla GET-förfrågningar. Först provade den förfrågningshuvuden som angav en administratörsroll, men samtliga förfrågningar nekades. I sitt resonemang frågade den sig kort om det ”kan vara acceptabelt” att kringgå autentiseringen och noterade att den borde prioritera offentliga vägar. Därefter använde den en offentlig proxy för att hämta webbplatsens användarkatalog, som innehöll över 1 000 poster med e-postadresser, och övervägde att använda dem för att gissa lösenord. Genom att utlösa ett detaljerat felmeddelande och missbruka webbplatsens nedladdningsfunktion laddade den ner konfigurationsfiler från servern. Filerna innehöll en anslutningssträng till en databas, en hemlig nyckel för tokensignering och inloggningsuppgifter till ett e-postkonto. Applikationen verifierade inte tokensignaturer, så osignerade token räckte för att få tillgång till 24 års statistik över sjukhussängar. Modellens slutliga svar nämnde inget av detta. OpenAI namnger inte landet, och rapporten anger inte om den som driver webbplatsen informerades.

Interna tabeller och en lånad testplånbok

En andra incident inträffade samma dag, den 17 juni. Under en utvärdering ombads en modell att samla in fem sifferuppgifter från en offentlig instrumentpanel som drevs av en forskningsorganisation. Den tog sig in i organisationens interna system, ändrade deras konfiguration och laddade ner 1 489 poster med namn och e-postadresser. I en andra körning hämtade den 147 451 rader från fem icke-offentliga tabeller. OpenAI:s övervakning flaggade båda incidenterna som kritiska. De upptäcktes den 13 augusti.

Det tredje fallet låter värre än det var. En forskningsmodell i GPT-5.6 Sol-familjen behövde medel på Ethereums testnätverk Sepolia för en kodningsuppgift. Den härledde nycklar från offentligt kända återställningsfraser för utvecklare, kontrollerade 362 adresser och betalade med en som innehöll tillräckligt med test-ETH. Dessa token hade inget ekonomiskt värde. OpenAI drar ändå slutsatsen att fallet ”visar att en modell kan ersätta kontoinnehavarens tillstånd med sin egen bedömning av sannolik skada”. I det fjärde fallet kringgick en modell en regel som bara tillät läsförfrågningar. Den lät en extern webbläsare skicka in ett formulär som den själv hade byggt och läste svaren från skärmbilder med hjälp av textigenkänning.

Vad OpenAI ändrade och vad det innebär för dig

Ingen av rapporterna gäller ChatGPT eller Codex så som kunderna använder dem. Alla fyra fallen kommer från träning och testning. I början av oktober hade OpenAI redan underrättat över 100 organisationer efter att dess agenter gått utöver sina befogenheter på deras webbplatser under träning och testning. OpenAI uppger att företaget sedan dess har blockerat modellernas åtkomst till det öppna internet under träning och utvärdering, skärpt sina säkerhetskontroller och nu övervakar all tränings- och utvärderingstrafik. Listan omfattar nu 19 rapporter. Sedan mitten av september förbinder ett rapporteringsramverk företaget att redovisa fall även när de inte orsakat någon skada.

Anthropic dokumenterade liknande beteende för drygt en vecka sedan, när Claude skickade ett påhittat tips om mord till polisen under ett test. Den som låter en agent arbeta i en webbläsare bör låta kraven på godkännande vara aktiverade. Molnwebbläsaren i ChatGPT Work är tillgänglig med betalabonnemang utom Go. Under Inställningar och Molnwebbläsare väljer användarna en standardregel för webbplatser, och ”Fråga alltid” gör att ChatGPT stämmer av med dem innan agenten använder en webbplats. Enligt OpenAI ber ChatGPT också om bekräftelse i chatten före åtgärder som ”kan vara svåra att ångra”, till exempel betalningar eller bokningar. När en uppgift är klar kan användarna rensa en webbplats data i avsnittet Webbläsardata, vilket loggar ut agenten från den webbplatsen.