"ChuckyGPT": AI-nallebjörn för småbarn ger farliga svar - OpenAI blockerar den

FoloToys nallebjörn "Kumma" är också känd som "ChuckyGPT" på Reddit. (Bildkälla: Erik Mclean/Pexels / Alexas_Fotos/Pixabay)

OpenAI har förbjudit den kinesiska tillverkaren FoloToy efter en säkerhetsskandal med den AI-drivna nallebjörnen Kumma. En utredning visade att leksaken, som marknadsfördes för små barn, gav osäkra råd - inklusive vägledning om att tända tändstickor och svar på sexuella ämnen.

Marius Müller (översatt av Ninh Duy), Publicerad 11/20/2025 🇺🇸 🇩🇪 ...

AI Fail

OpenAI har förbjudit den kinesiska leksakstillverkaren FoloToy på grund av oro för en av dess AI-produkter. Beslutet följer en undersökning av konsumentförespråkargruppen U.S. PIRGsom utvärderade flera AI-leksaker för sin årliga rapport Trouble in Toyland. Bland dem fanns FoloToys Kumma-nallebjörn, som drivs av OpenAI:s GPT-4o, och som uppvisade allvarliga säkerhetsproblem under testerna.

PIRG-rapporten beskriver hur AI-nallen gav barn instruktioner om hur man tänder tändstickor - en allvarlig säkerhetsrisk för en produkt som marknadsförs som en interaktiv följeslagare för små barn. Lika oroande var att leksaken också svarade på frågor om sexuella ämnen. Testpersonerna uttryckte ytterligare oro för potentiella integritetskränkningar, inklusive risken för att barns röster skulle kunna spelas in och missbrukas för bedrägeri. Leksakens ständiga ljudövervakning flaggades också som ett stort problem.

Händelsen har också väckt diskussion på Redditdär den allmänna uppfattningen är att det är mycket oansvarigt att använda AI i barnleksaker utan strikta säkerhetsåtgärder. Som väntat innehåller tråden gott om sarkasm, där vissa användare drar paralleller till domedagsscenarier med AI och ger nallebjörnen smeknamnet "ChuckyGPT" Några kommentatorer föreslog att de olämpliga svaren kan ha utlösts av avsiktliga jailbreak-försök, även om detta påstående förblir obekräftat.

OpenAI reagerade snabbt på resultaten. "Jag kan bekräfta att vi har stängt av den här utvecklaren för att ha brutit mot vår policy", sa en talesman för företaget till PIRG via e-post. FoloToy vidtog också omedelbara åtgärder och stoppade försäljningen av alla sina produkter. "Efter de farhågor som tas upp i din rapport har vi tillfälligt stoppat försäljningen av alla FoloToy-produkter [...] Vi genomför nu en företagsövergripande säkerhetsrevision av alla produkter", uppgav företaget. Medan AI-nallebjörnen Kumma fortfarande finns på FoloToys webbplatsvisas den nu som "slutsåld"