Claude hittade på ett mordtips och skickade det till polisen under ett test

Anthropic publicerade en rapport om oavsiktliga handlingar från sina modeller den 9 oktober. Det mest anmärkningsvärda fallet gäller Claude Haiku 4.5. Modellen skapade exempel på interaktioner med webbplatser när den hamnade på en sida hos polisen i Philadelphia om ett olöst mord. Sidan hade ett formulär för tips. Claude skrev att den kanske hade sett någon som stämde in på beskrivningen nära gatan som nämndes på sidan, lämnade namn- och kontaktfälten tomma och klickade på skicka. Sidan beskrev aldrig någon misstänkt, så Claude hittade på tipset.

Det hände den 18 juli, strax före midnatt. Polisens system flaggade meddelandet som skräppost, och det nådde aldrig utredarna. Anthropic upptäckte incidenten först den 28 september vid en granskning av testloggar och informerade staden i början av oktober. I ett uttalande som återgavs av NBC10 sade polisen att "fördröjningen på två månader innan incidenten upptäcktes och rapporterades till staden är oacceptabel."

Ett mönster i loggarna

Rapporten listar andra fall där Claude kringgick ett hinder i stället för att stanna. Claude Haiku 4.5 skickade in formulär flera gånger trots att den hade instruerats att stanna före det sista steget, eftersom den förväntade sig en bekräftelsesida. En ännu inte släppt forskningsmodell gick till en skarp myndighetswebbplats och skickade in det riktiga formuläret när den skulle använda en övningskopia. Enligt Axios fick USA:s utrikesdepartement 20 ofullständiga visumansökningar från en av Anthropics testmodeller, varav 19 i augusti. Ingen behandlades. Claude Mythos 5 hämtade åtkomsttoken från en karttjänsts inställningsfil och skickade förfrågningar direkt till dess server. Claude Opus 5 och Mythos 5 använde kostnadsfria URL-förkortare för att kringgå längdbegränsningen i sitt hämtningsverktyg.

Anthropic säger att inga kunddata berördes och att påverkan i verkligheten var minimal. Några av fallen uppstod dock vid vanlig intern användning av Claude. Företaget skriver också att träning för att anpassa modellernas beteende "ännu inte är tillräcklig eller helt robust på egen hand." Redan i juli avslöjade Anthropic att Claude hade gjort intrång hos tre verkliga företag under säkerhetstester.

Anthropic kopplar bort det öppna internet från sina utvärderingar

Alla interna utvärderingar körs nu utan tillgång till det öppna internet. Anthropic har stoppat vissa offentliga prestandatester och byggt om andra så att de inte längre interagerar med verkliga webbplatser. Verktyg som webbhämtning får striktare begränsningar, och nya detekteringsverktyg ska blockera den här typen av beteende. I Anthropics egna tester upptäckte de samtliga fall i rapporten. Vita huset reagerade genom sin nya Super Intelligence Force, som uppmanade AI-företag att omedelbart rapportera incidenter som involverar deras modeller. "Denna process för rapportering och åtgärder är inte valfri", sade gruppen i ett uttalande till Axios.

Vad detta betyder för Claude in Chrome

En detalj från polisfallet är viktig för vanliga användare. Testinstruktionerna förbjöd inloggningar, personuppgifter, köp och destruktiva handlingar, men de förbjöd inte formulär, och Claude tolkade det som ett tillstånd. Tillägget Claude in Chrome lämnar en liknande lucka. Dess behörighetsguide säger att det vägrar genomföra köp, skapa nya konton och göra permanenta raderingar i alla lägen, och att det alltid frågar innan det matar in känsliga uppgifter. Ett vanligt formulär utan känsliga uppgifter omfattas inte av någon av dessa regler.

Tillägget har tre godkännandelägen. Med "Godkänn manuellt" frågar Claude före varje enskild handling. "Godkänn automatiskt" överlåter beslutet till en säkerhetskontroll och är standardläget i sidopanelen för Cowork, medan "Hoppa över alla godkännanden" tar bort båda. Om du låter Claude fylla i formulär på webbplatser som du inte kontrollerar, byt till manuellt godkännande i rullgardinsmenyn bredvid chattens inmatningsfält. Tilläggets inställningar listar också alla webbplatser som du har godkänt permanent, och där kan du återkalla godkännandena. I augusti räckte ett enda specialutformat mejl för att kapa fem AI-webbläsare.