Google Pixel 11 omvandlar amerikanskt teckenspråk till skriven text

Google DeepMind presenterade på onsdagen en översättningsmodell för teckenspråk, och den här stannar inte kvar i laboratoriet. SL2T, en förkortning av sign-language-to-text, finns nu inbyggt i Gboard-tangentbordet och appen Live Transcribe på Pixel 11. Teckna, så får du text. Det fungerar överallt där du normalt skulle skriva: vid webbsökningar, i meddelanden, i dokument och i Gemini-prompter. Google tar inte ut någon extra avgift för detta.

För döva användare är detta mer än bara en bekvämlighet. Cirka 70 miljoner människor världen över använder något av de över 200 teckenspråken som sitt huvudspråk, och diktering – något som hörande användare har tagit för givet i åratal – har aldrig varit tillgängligt för dem. I Live Transcribe kan de nu svara direkt istället för att behöva skriva sig igenom en konversation.

Kameran skickar aldrig video till Google

Integritetsdesignen är den mest intressanta delen. Modellen ser aldrig kamerabilden. MediaPipe Holistic körs på telefonen och reducerar videomaterialet till kroppspunkter – enkla koordinater för händer, armar, huvud och ansikte. Endast dessa siffror skickas till servern, och Google uppger att videon raderas omedelbart.

Det som Google utelämnat är lika viktigt. Tidigare system översatte genom så kallade ”glosses”, en grov mellanliggande notation av enskilda tecken som tar bort mycket av det som teckenspråk faktiskt förmedlar, inklusive ansiktsuttryck och användning av utrymme. SL2T går direkt från kroppspunkter till text. Träningen baserades på mer än 100 000 timmars videomaterial som täcker över 50 teckenspråk, varav ungefär en fjärdedel är amerikanskt teckenspråk. I FLEURS-ASL-testet uppnår systemet 70 BLEURT – ett mått på översättningskvalitet – utan att först ha sett testdata.

Endast ett språk, och Google markerar sina egna fel

Språklistan är haken. Vid lanseringen hanterar SL2T endast ASL till engelska och inget annat, så användare av brittiskt, tyskt eller något annat teckenspråk får fortfarande vänta. Google lovar fler språk och fler enheter utan att ange något datum.

Noggrannheten är inte heller felfri, och företaget medger detta i sina egna exempel. Snabb fingerskrivning förvandlar ”prey” till ”grey”, en beskrivande klassificerare faller bort, en tempusform ändras när sammanhanget saknas. Teamet tog itu med de praktiska problemen: fördröjning under liveöversättning, påhittade uttryck när ingen tecknar, vänsterhänta tecknare och enhands-teckning, vilket blir nödvändigt när den andra handen håller i telefonen.

Döva yrkesverksamma var delaktiga under hela processen. En rådgivande grupp vid namn AISLAC följde lanseringen och var medförfattare till en rapport om vad modellen kan och inte kan göra.

Endast Pixel 11, för tillfället

För att kunna testa funktionen måste man köpa en Pixel 11. Google öppnade för förbeställningar den 12 augusti, och den 13 augusti listade Google Store fortfarande telefonen som en förbeställning till 899 dollar. Äldre modeller, såsom Pixel 10 Pro, har för tillfället inte tillgång till funktionen.