Studie visar att AI-chattbottar ger mindre korrekt information till utsatta användare

Stora språkmodeller har ofta framhållits som revolutionerande verktyg som kan demokratisera den globala tillgången till information. Ny forskning från Massachusetts Institute of Technology Center for Constructive Communication visar dock att dessa system för artificiell intelligens systematiskt underpresterar för de sårbara demografiska grupper som kan ha störst nytta av dem.

Studien presenterades vid AAAI-konferensen om artificiell intelligens och undersökte toppmoderna chatbots, inklusive OpenAIs GPT-4, Anthropics Claude 3 Opus och Meta's Llama 3. Forskare testade modellerna med hjälp av TruthfulQA- och SciQ-datauppsättningarna för att mäta faktanoggrannhet och sanningsenlighet, samtidigt som de föregick användarbiografier som varierade efter utbildningsnivå, engelska kunskaper och ursprungsland. Resultaten visade en betydande minskning av korrektheten för användare med lägre formell utbildning eller sämre kunskaper i engelska. Dessa negativa effekter förvärrades kraftigt för användare som befann sig i skärningspunkten mellan de båda kategorierna.

Forskningen belyste också alarmerande skillnader i hur modellerna hanterade frågor. Claude 3 Opus vägrade till exempel att svara på nästan 11% av frågorna för mindre utbildade, icke-infödda engelsktalande, jämfört med bara 3,6% för kontrollanvändare. I många av dessa avslag svarade modellen med ett nedlåtande, nedlåtande eller hånfullt språk, som ibland härmade bruten engelska. Modellerna undanhöll också faktainformation om ämnen som kärnkraft och historiska händelser specifikt från lågutbildade användare som kommer från länder som Iran eller Ryssland, trots att de svarade korrekt på de identiska frågorna för andra demografiska profiler.

Forskarna varnar för att när personaliseringsfunktioner blir allt vanligare riskerar dessa inneboende sociokognitiva fördomar att förvärra befintliga informationsojämlikheter genom att i tysthet sprida skadligt beteende och felaktig information till dem som är minst utrustade för att identifiera det.