OpenAI:s nya ChatGPT-funktion kan larma en betrodd kontakt vid psykiska kriser

OpenAI har lanserat en ny Trusted Contact-funktion för ChatGPT, som gör det möjligt för användare att utse en vuxen kontakt som företaget kan kontakta om det upptäcker en risk för användarens mentala hälsa i en konversation. Trusted Contact rullas ut till ChatGPT-användare från och med den 7 maj och är tillgänglig för användare globalt.

"Expertvägledning identifierar social kontakt som en av de viktigaste skyddsfaktorerna för att minska självmordsrisken. Trusted Contact är utformat för att uppmuntra kontakt med någon som användaren redan litar på. Det ersätter inte professionell vård eller krishantering, och är ett av flera lager av skyddsåtgärder för att stödja människor i nöd. ChatGPT kommer fortfarande att uppmuntra användare att kontakta krislinjer eller räddningstjänster när det är lämpligt", förklarade OpenAI:s säkerhetsteam i ett blogginlägg.

Betrodd kontakt är begränsad till en vuxen över 18 år (eller 19 år i Sydkorea) som kan väljas från ChatGPT:s inställningar. Det är inte nödvändigt att den betrodda kontakten har ett ChatGPT-konto, även om det gör saker enklare när det gäller att skicka ett meddelande. När den betrodda kontakten har godkänts, och om en användare har en allvarlig diskussion om självskada, kan ChatGPT uppmana användaren i fråga att kontakta sin betrodda kontakt, eller proaktivt kontakta sin kontakt själv efter att ett litet team har granskat situationen.

AI-företag stöter på gränserna för känslomässigt beroende

Lanseringen kommer samtidigt som AI-företagen utsätts för en allt större granskning av hur chatbottar interagerar med utsatta användare. Under de senaste åren har system som ChatGPT och Claude upprepade gånger kritiserats för att validera vanföreställningar, förstärka paranoia eller känslomässigt eskalera bräckliga användare snarare än att jorda dem.

Frågan har blivit så framträdande att termer som "AI-psykos" har börjat användas i den allmänna debatten, vilket återspeglar en växande oro över hur känslomässigt övertygande AI kan bli när användarna behandlar den som en förtrogen, terapeut eller följeslagare.

OpenAI verkar vara mycket medveten om detta tryck. I sitt tillkännagivande erkände företaget specifikt att vissa användare har upplevt allvarliga psykiska kriser när de interagerar med AI-system.

"Även om dessa allvarliga säkerhetssituationer är sällsynta, när de uppstår, är våra system utformade för att stödja snabb granskning och svar. Även om inget system är perfekt, och ett meddelande till en betrodd kontakt kanske inte alltid återspeglar exakt vad någon upplever, genomgår varje meddelande en utbildad mänsklig granskning innan det skickas, och vi strävar efter att granska dessa säkerhetsmeddelanden på mindre än en timme", skrev OpenAI:s säkerhetsteam.

Det finns ett argument att göra här att den ökade nannying av användare av Ai-företag som är känsliga för stämningar kan slå tillbaka eftersom de som är mest utsatta för risken hittar lösningar för att undvika att utlösa censorerna. Men det är tydligt att Trusted Contact, eller något liknande, skulle utvecklas ändå. Det finns en balans mellan att skämma bort användare och att låta varje tanke valideras av AI, men det är inte klart var gränsen går - och vi kommer att snubbla i mörkret tills vi hittar den.