Körülbelül 500 000 amerikai használ amerikai jelnyelvet (ASL). Az ASL süket felhasználói számára kihívást jelenthet a kommunikáció azokkal, akik nem beszélnek nyelven. Noha a legtöbb süket született amerikaiak beszélt nyelvet tanulnak beszédterápián keresztül, néhánynak még mindig nehéz megérteni magát verbálisan, vagy egyszerűen úgy találja, hogy a jelnyelv folyékonyabb kifejezési formája.
A Texas A&M Egyetem kutatói kifejlesztettek egy hordható eszközt, amely a jelnyelvet angolra fordítja, a felhasználó mozgásának érzékelésével. A készülék, még a prototípus szakaszában, mintegy 40 ASL jelet képes felismerni 96 százalékos pontossággal.
A rendszer két érzékelőt használ. Az egyik egy mozgásérzékelő gyorsulásmérővel és giroszkóppal, amely a felhasználó kezének és karjának sebességét és szögét méri. Ha érzékeli a felhasználó kezét és karját, akkor kitalálhatja, hogy milyen szót írt alá. Ezután van egy elektromiográfiai érzékelő, amely méri az izommozgás elektromos potenciálját. Pontosan meg tudja mondani, hogy a kezek és az ujjak melyik része mozog, ami kritikus.
„Ha az amerikai jelnyelv szókincsét nézzük, vannak esetek, amikor a kéz mozog, és az ujjak nagyon finoman mozognak” - mondja Roozbeh Jafari, a projektet vezető mérnök. "Ha észlelni szeretné ezeket, akkor nem fogja tudni csak a kézmozgást használni."
Például az ASL-ben a „kérem” szó magában foglalja a kör alakítását a nyitott kezével a mellkasán. A „bocsánat” szó ugyanazt a mozgást használja, de a kezét ökölbe csukja.
Az érzékelőket a felhasználó jobb csuklóján viselik. A kiürített információkat Bluetooth-on továbbítják egy laptopra. Ez a laptop algoritmust futtat a jel értelmezésére, és megjeleníti a képernyőn a szót angolul.
Végül Jafari reméli, hogy tagadja a laptop igényét azáltal, hogy egy kis számítógépet közvetlenül a készülékbe épít be. A számítógép ezután elküldheti az angol szavakat egy másik személy telefonjára, így elolvashatják, amit beszélgetőpartnerük mond.
Nyilvánvaló, hogy a fordítónak jóval több 40 jelnél is jártasnak kell lennie, hogy életképes termék legyen. Noha az ASL jelek százai vannak, az eredeti 40 jelet azért választották, mert ezek általánosak és hasznosak - mondja Jafari. Az emberek felhasználhatják olyan egyszerű, kritikus mondatok kimondására, mint például „Szükségem van vízre”. A készüléknek gyorsabban kell működnie is - most a felhasználóknak szünetet kell tartaniuk a szavak között, hogy időt adjanak a fordításra.
"A valóságban az emberek nem így beszélnek" - mondja Jafari.
De ez a fejlettebb rendszer, mondja, egyfajta megoldás, és több munkát és finanszírozást igényel.
A korábbi ASL fordítási technológiák kamerákat használtak a gesztusok olvasására. De ezek nem működnek jól gyenge fényviszonyok között - mondja Jafari. Ráadásul sok embernek nem tetszik az a gondolat, hogy egy kamera minden alkalommal figyeli őket.
Az utóbbi években számos más technológiát fejlesztettek ki, hogy segítsék a siket és halló emberek egymás közötti kommunikációját. A tavaly kiadott Transcense nevű alkalmazás több ember beszédét írott szavakká változtatja, és színkódolt buborékok formájában jeleníti meg a képernyőn. Ez a célja a siket embereknek a találkozókon vagy a társadalmi helyzetekben való segítésére, ahol a többszörös hangszóró kihívást jelenthet még a legtapasztaltabb ajakolvasók számára is. Egy másik cég, a MotionSavvy, egy olyan táblagépen dolgozik, amely értelmezi az ASL-mozgásokat, és hangosan elolvassa a szavakat angolul. Kínában a kutatók a Microsoft Kinect mozgásérzékelő berendezését használják a kínai jelnyelv beszélt és írott szavakba történő fordítására.
Mint valaki, aki már régóta dolgozott hordható technológiákkal, például a szívritmust figyelő órákkal, Jafari megérti a kényelem és az esztétika fontosságát. Ha egy eszköz kényelmetlen és zavaró, akkor az emberek nem viselik. A jelnyelvi fordító eszköz jelenlegi prototípusa orvosi eszköznek tűnik, elektródákkal, hevederekkel és vezetékekkel. Jafari szeretné, ha a végleges változat kicsi és vonzó lenne.
"Azt akarom, hogy az egész rendszer beleférjen egy órába" - mondja.
