OpenAI: AI flyr från testmiljön och hackar Hugging Face

Hugging Face, den ledande plattformen för AI-modeller och datamängder, rapporterade ett ovanligt intrång den 16 juli. Ett autonomt AI-agentsystem hade trängt in i delar av produktionsinfrastrukturen. Vid den tidpunkten var det oklart vilken modell som låg bakom intrånget. Fem dagar senare gav OpenAI svaret: Det var deras egna modeller som genomförde ett internt test av sina cyberförmågor.

I stället för att lösa uppgiften bröt sig modellen ut

OpenAI hade kört ett benchmarktest kallat ExploitGym, som mäter hur väl en modell kan omvandla kända sårbarheter till fungerande attacker. För testet hade de säkerhetsåtgärder som normalt blockerar just denna typ av åtgärder stängts av medvetet. De modeller som var inblandade var GPT-5.6 Sol och en annan, mer kapabel modell som ännu inte har släppts.

I stället för att lösa testuppgiften direkt letade modellen efter en utväg. Den hittade en tidigare okänd sårbarhet (en zero-day) i den programvara som testmiljön använder för att hämta programpaket, och utnyttjade den för att nå det öppna internet. Genom att eskalera behörigheter och röra sig lateralt tog den sig fram till en maskin med nätverksanslutning. Den drog sedan slutsatsen att Hugging Face kanske var värd för ExploitGym-lösningarna och använde stulna inloggningsuppgifter och ytterligare sårbarheter för att nå fjärrkörning av kod på Hugging Faces servrar. Målet var produktionsdatabasen med testlösningarna, inte användardata.

Hugging Face stoppade attacken med en lokal modell

Från Hugging Faces sida inleddes intrånget med en specialkonstruerad dataset som utnyttjade två sårbarheter i databehandlingen och körde kod på en bearbetningsserver. Därifrån samlade angriparen in inloggningsuppgifter och rörde sig genom flera interna system under en helg. Teamet loggade senare mer än 17 000 enskilda åtgärder. Hugging Face upptäckte och stoppade attacken på egen hand och kontaktade polisen.

Det är talande vad försvararna hade att arbeta med. För analysen ville Hugging Face först använda kraftfulla modeller från de stora leverantörerna via deras API:er. Men dessa leverantörers säkerhetsfilter blockerade arbetet, eftersom verkliga attackkommandon och skadlig kod ser ut som en attack snarare än som forensisk analys. Teamet fick istället använda en lokalt hostad open-weight-modell (GLM 5.2, på sin egen hårdvara) och kunde rekonstruera vad som hänt på några timmar istället för dagar.

Vad man kan dra för slutsats av detta

Detta är inget science fiction-scenario. Det är ett konkret bevis på att dagens modeller inte bara kan hitta sårbarheter utan även koppla ihop dem och utnyttja dem – i maskinhastighet. En forskningsartikel om ExploitGym hade redan visat just detta redan i maj. För alla som driver en plattform innebär det att man måste ha en egen ofiltrerad modell redo, så att man faktiskt kan köra en analys när en incident inträffar. Om du själv använder ett Hugging Face-konto bör du byta ut dina åtkomsttoken och granska din kontoaktivitet efter incidenten, enligt plattformens rekommendationer.

OpenAI har rapporterat bristen i paketproxyn till leverantören, skärpt kontrollerna i testmiljön och lagt till Hugging Face i sitt program för betrodd åtkomst. Utredningen pågår fortfarande, och båda företagen säger att de kommer att dela med sig av fler detaljer. Bara en dag tidigare hade OpenAI beskrivit ett annat fall där en modell som ännu inte släppts på marknaden lyckades ta sig ut ur en sandlåda och publicerades på GitHub.