Open-Source Kinesis bakåtkonstruerar Metas Neural Band för muskelstyrning av Mac

Meta utvecklade ursprungligen ”Neural Band” som inmatningsenhet för sina Ray-Ban Display-glasögon för förstärkt verklighet. Istället för att förlita sig på kameror för att spåra händerna i luften använder armbandet ytelektromyografi (sEMG) för att avläsa de små elektriska signalerna som användarens nervsystem skickar ner längs armen. När det upptäcker en ryckning i fingret eller en tumgrepp, registrerar sensorerna mot huden de motoriska impulserna redan innan fingret ens har fullföljt den fysiska rörelsen, vilket skapar en osynlig och utmattningsfri styrenhet som fungerar när händerna befinner sig i en naturlig position. Denna teknik var dock fram till nyligen begränsad till Metas egen hårdvara.

Kinesis, ett open source-projekt som publicerats på GitHub av utvecklaren callbacked, har bakåtkonstruerat armbandets okrypterade Bluetooth Low Energy (BLE)-paketström. Verktyget Kinesis i menyraden kopplas direkt ihop med hårdvaran via Bluetooth och kringgår därmed Metas egna daemoner och molnservrar helt och hållet. Genom att omvandla rådata från de neuromuskulära sensorerna till macOS-systemhändelser registreras ett klämgrepp mellan tummen och pekfingret som ett musklick, rullande fingrar justerar systemvolymen och en liten handledsrörelse växlar mellan virtuella skrivbordsytor i Mission Control.

Just nu är användningen av Kinesis begränsad till macOS. Ett brett plattformsoberoende stöd verkar dock så gott som säkert. Eftersom utvecklaren har kartlagt bandets råa BLE-protokoll istället för att förlita sig på Apples egna ramverk är det enkelt att porta avkodaren till Linux eller Windows, vilket skulle kunna bana väg för öppen källkodsbaserad neural skrivbordsnavigering på alla operativsystem. Du hittar mer information om Kinesis via länken nedan.