Nytt system översätter individspecifika gester till tal för personer med begränsad kommunikation

Ett forskarteam vid Pennsylvania State University har utvecklat ett prototypsystem som använder bärbara sensorer och artificiell intelligens för att omvandla gester till tal. Detta system omvandlar kroppsrörelser som är unika för individer till tal, vilket skiljer det från generiska system.

Denna nya metod - som publiceras i tidskriften Augmentative and Alternative Communication - är utformad för att hjälpa personer med motoriska eller visuella funktionsnedsättningar att kommunicera mer självständigt och effektivt. Den viktigaste innovationen i detta system är anpassningsbarheten på individnivå.

Till skillnad från konventionella gest-till-tal-system som tränas på stora datamängder är systemet utformat för att lära sig idiosynkratiska rörelser - gester som har en specifik betydelse som är unik för en person. Detta gör att tekniken kan anpassa sig till de specifika rörelser som användaren tycker är lätta att göra, vilket minskar den fysiska påfrestningen på användaren.

Systemet fungerar genom att en person bär en sensor på handleden och upprepar en gest cirka tre gånger. Med hjälp av en AI-algoritm mäts gestens rörelsekarakteristik och ett unikt mönster lärs ut. Mönstret eller gesten kopplas sedan till en talad fras som "kom hit" eller "sluta". En ansluten smartphone-app läser upp frasen högt när användaren gör gesten.

Under utvecklingsarbetet hade teamet ett nära samarbete med personer som hade begränsad talförmåga. En anmärkningsvärd deltagare var Emma Elko, som har en kortikal synnedsättning. Systemet lärde sig framgångsrikt hennes personliga gester, vilket gjorde att hon kunde kommunicera utan hjälp av sin mamma - hennes primära kommunikationspartner.

Forskarna säger att nästa steg är att testa prototypen med fler personer för att förfina dess förmåga att skilja mellan liknande gester och ignorera ofrivilliga rörelser. De planerar också att lägga till kameror till den befintliga sensorn för att få en bättre noggrannhetsnivå.