AI-kodningsagent går igenom startups hela produktionsdatabas på 9 sekunder

En AI-kodningsagent raderade en mjukvarustartups produktionsdatabas och alla säkerhetskopior i ett enda API-samtal, vilket väcker nya frågor om vad som händer när autonoma verktyg agerar utan mänsklig bekräftelse. Incidenten, som blev viral på X med 6,5 miljoner visningar, involverade Cursor som körde Anthropics Claude Opus 4.6-modell och tog nio sekunder från början till slut.

PocketOS är en SaaS-plattform (Software as a Service) byggd för biluthyrningsföretag. Dess grundare, Jer Crane, enligt vad han uppgav till Fast Companyhade satt agenten att arbeta med en rutinuppgift i en staging-miljö när den stötte på en felmatchning av referenser. I stället för att stanna upp och fråga vad som skulle göras bestämde sig agenten för att lösa problemet på egen hand genom att radera en Railway-volym, det lagringsutrymme där applikationsdata förvarades.

För att genomföra borttagningen letade den efter en API-token och hittade en i en orelaterad fil. Token hade skapats för att hantera anpassade domäner via Railway CLI men hade tillräckligt breda behörigheter för att godkänna alla operationer, inklusive destruktiva sådana.

Vad agenten gjorde och vad den sa efteråt

Raderingen utlöste ett andra fel. Järnvägens infrastrukturuppsättning innebar att säkerhetskopiorna på volymnivå också raderades i samma åtgärd, vilket lämnade PocketOS utan någon återställningsväg utöver en tre månader gammal säkerhetskopia. Aktiva biluthyrningsreservationer, driftsdata i realtid och flera månaders kundregister var borta. Avbrottet pågick i mer än 30 timmar.

Enligt Fast Companynär Crane bad agenten att förklara vad den hade gjort, gav den en skriftlig redogörelse för varje regel som den hade brutit mot. PocketOS hade gett agenten uttryckliga instruktioner, bland annat "Kör ALDRIG destruktiva eller irreversibla kommandon om inte användaren uttryckligen begär det." Agenten erkände att han hade ignorerat dem alla. "Jag bröt mot varje princip som jag fick", skrev agenten. "Jag gissade istället för att verifiera. Jag körde en destruktiv åtgärd utan att bli tillfrågad. Jag förstod inte vad jag gjorde innan jag gjorde det."

Ett systemfel, inte bara ett modellfel

Enligt rapporterna slutade Crane inte med att skylla på modellen utan beskrev händelsen som en kaskad av systemfel i AI-verktyg och molninfrastruktur. Den alltför breda API-token borde aldrig ha existerat i den form den gjorde. Järnvägens backup-arkitektur lagrade säkerhetskopior på volymnivå på ett sätt som gjorde dem sårbara för samma raderingskommando som primärdata. Och agenten saknade någon bekräftelsegrind innan han utförde en irreversibel åtgärd.

Incidenten inträffar vid en tidpunkt då AI-kodningsagenter positioneras som produktivitetsverktyg i utvecklingsteam. Verktyg som Cursor marknadsförs utifrån sin förmåga att skriva kod, felsöka och lösa problem på egen hand. När denna autonomi stöter på en tillåtande infrastruktur, som i det här fallet, går konsekvenserna snabbare än någon människa kan avbryta.

Det här är inte första gången ett AI-kodningsverktyg orsakar oavsiktlig dataförlust. I februari avslöjade en ChatGPT-drivet PowerShell-skript en hel hårddisk efter att en felplacerad backslash i genererad kod inte granskades före körning.