Anthropic upptäckte att forskare bad Claude om hjälp med forskning om biologiska vapen

Anthropic, företaget bakom Claude AI, har nyligen flaggat och blockerat flera forskare som försökt använda dess AI-modeller för potentiell utveckling av biologiska vapen. En ny hotrapport som företaget har publicerat beskriver i detalj omfattande missbruk av deras Claude AI-plattform. Utredningen belyser fem specifika fallstudier där verksamma forskare undersöker mycket farliga patogener. Att upptäcka denna typ av missbruk är fortfarande mycket komplicerat, eftersom legitim biomedicinsk forskning ofta påminner starkt om utvecklingen av ett biologiskt vapen.

I ett uppmärksammat fall från maj avlyssnade Anthropics interna klassificeringssystem för biologisk säkerhet en begäran om att utarbeta en ansökan om forskningsbidrag för ”gain-of-function”-forskning kring chikungunyaviruset. Denna myggburna patogen orsakar försvagande symtom och det finns för närvarande ingen godkänd behandling. Den föreslagna forskningen syftade till att öka virusets smittsamhet och dess förmåga att undgå immunförsvarets reaktioner.

Att denna forskning var knuten till ett militärt institut förvärrade omedelbart företagets oro. Anthropic stoppade även ett annat försök som gällde forskning om funktionsförstärkning av fågelinfluensa, där fokus låg på att anpassa patogenen så att den lättare skulle kunna spridas mellan däggdjur. En annan avlyssnad förfrågan gällde en forskare som använde Claude för att kartlägga giftpeptider och optimera deras egenskaper.

Anthropic reagerade genom att permanent spärra de konton som var kopplade till dessa aktiviteter. Företaget utnyttjade resultaten för att stärka sina säkerhetsåtgärder mot framtida missbruk. Rapporten betonar att nyare modeller visar på en ökande skicklighet i att hantera sofistikerade vetenskapliga uppgifter.

Denna förmåga gör dem till mycket attraktiva mål för aktörer som söker en verklig forskningsassistent inom komplex biologisk teknik. Anthropic valde att hålla identiteterna och institutionerna för de inblandade forskarna anonyma. Företaget uppgav att en identifiering av dessa yrkesverksamma skulle kunna utsätta dem för fysisk skada, och påpekade att forskarna kanske inte uttryckligen hade för avsikt att orsaka skada.