AI-hallucinationer: Forskare har hittat orsaken - och en lösning

AI-assistenter är förvånansvärt skickliga på att hitta på information och presentera den som fakta. Falska påståenden, fiktiva källor och påhittade citat är alla en del av mixen. Dessa misstag kallas vanligen hallucinationer. Många användare har sannolikt vant sig vid problemet och förlitar sig ofta på sin egen faktakontroll för att skilja sanning från fiktion. Men enligt OpenAIkan det finnas ett alternativ. Den 5 september släppte företaget bakom ChatGPT ett detaljerat dokument som ger en ny förklaring till varför hallucinationer uppstår - och en potentiell lösning.

Gissningar belönas, osäkerhet bestraffas

36-sidiga pappersom författats av Adam Kalai, Santosh Vempala från Georgia Tech och andra OpenAI-forskare, gör en sak klar: hallucinationer orsakas inte av slarvigt skrivande, utan av hur nuvarande utvärderingsmått är utformade. Dessa mätvärden tenderar att belöna säkra gissningar och straffa uttryck för osäkerhet. Forskarna jämför detta med flervalstester - de som gissar kan få poäng, medan de som lämnar frågorna tomma inte får något. Statistiskt sett vinner gissningsmodellen, även om den ofta ger felaktig information.

Som ett resultat av detta fokuserar dagens topplistor - som rankar AI-prestanda - nästan uteslutande på noggrannhet och förbiser både felfrekvenser och osäkerhet. OpenAI efterlyser nu en förändring. I stället för att bara räkna korrekta svar bör resultattavlorna straffa säkra misstag hårdare samtidigt som de ger viss kredit för försiktig avståelse. Målet är att uppmuntra modeller att erkänna osäkerhet snarare än att självsäkert presentera falsk information som fakta.

Mindre gissningar, mer ärlighet

Ett exempel från rapporten visar vilken skillnad det här tillvägagångssättet kan göra. I SimpleQA:s benchmark valde en modell att inte svara på mer än hälften av frågorna, men hade bara fel i 26% av de svar som den gav. En annan modell svarade på nästan alla frågor - men hallucinerade i cirka 75% av fallen. Slutsatsen är tydlig: att visa osäkerhet är mer trovärdigt än självsäkra gissningar som bara skapar en illusion av precision.