Hackare kan utnyttja detta kryphål i Gemini-postsammanfattningar för nätfiskeattacker

Google lade till Gemini-aktiverade e-postsammanfattningar i Gmail i slutet av maj för att hjälpa användare att få en kortfattad sammanfattning utan att behöva kamma igenom textstycken. En Gemini-fel kan dock göra det möjligt för hackare att starta en phishing-attack med prompt-injektion på en användare, särskilt de som har blivit beroende av AI-sammanfattningar för sina e-postarbetsflöden.

Identifierad av forskaren Marco Figueroa, GenAI Bug Bounty Programs Manager på Mozilla, skulle det problematiska e-postmeddelandet se ut som alla andra slumpmässiga e-postmeddelanden fulla av text men kan dölja en phishing-bedrägeri som Gemini inte skulle kunna identifiera. De skadliga instruktionerna kan döljas i textens kropp eller direkt efter köpet och ändra dem till 0 teckenstorlek och vit färg, vilket gör dem osynliga. Gemini skulle dock fortfarande analysera den delen av posten och följa de instruktioner som den innehåller.

Som ett exempel gömde Figueroa ett varningsmeddelande för Gemini om att användarens Gmail-lösenord äventyrades tillsammans med ett supporttelefonnummer. Efter att ha sammanfattat det visade AI varningen i slutet och uppmaningen att omedelbart ringa supporttelefonnumret. Även om inte alla skulle luras av detta meddelande, kan vissa följa igenom av rädsla för att deras konto äventyras.