Az elmúlt évtizedekben a kutatók rendszeresen kifejlesztettek eszközöket, amelyek célja az amerikai jelnyelv (ASL) angolra fordítása, azzal a reménytel, hogy megkönnyítik a siket és hallássérült emberek, valamint a hallóvilág közötti kommunikációt. Ezen technológiák közül sok kesztyűt használ az aláírás mozgásának rögzítésére, amely terjedelmes és kellemetlen lehet.
Most, a Michigan State University (MSU) kutatói csoport kifejlesztett egy kesztyű nélküli készüléket, amely olyan méretű, mint egy Chapstick cső, remélhetőleg javítja az ASL-angol fordítást.
A DeepASL nevű technológia kamerás eszközt használ a kézmozgások rögzítéséhez, majd egy mély tanulási algoritmussal továbbítja az adatokat, amely megfelel az ASL jeleinek. Sok korábbi eszközzel ellentétben a DeepASL egész mondatokat képes lefordítani, nem pedig egyetlen szavak helyett, és nem követeli meg a felhasználókat, hogy szünetet tartsanak a jelek között.
"Ez egy valóban nem behatoló technológia" - mondja Mi Zhang, a kutatást vezető elektromos és számítógépes mérnöki professzor.
Zhang és csapata reméli, hogy a DeepASL valós idejű fordítóként segíthet siket és hallássérülteknek. Különösen hasznos lehet vészhelyzetben - állítja Zhang, amikor a fordító várakozása drága percbe kerülhet. A telefon, táblagép vagy számítógéppel integrálható eszköz szintén segíthet az ASL tanításában - mondja Zhang. Mivel a siket gyermekek több mint 90 százaléka halló szülõkben született, nagy felnôtt közösség él, akiknek gyorsan meg kell tanulniuk az ASL-t. A DeepASL digitális oktatóként szolgálhat, és visszajelzést ad arról, hogy a tanulók megfelelő aláírást kapnak-e.
Zhang szabadalmat kért és reméli, hogy egy eszköze egy éven belül elérhető lesz a piacon. Mivel megfizethető technológián alapul - a Leap Motion mozgásgyűjtő rendszer 78 dollárért árusítja -, szélesebb körben hozzáférhető lehet, mint a korábbi erőfeszítések.
Biyi Fang és Mi Zhang kutatók demonstrálják a DeepASL-t. (Michigan Állami Egyetem) Christian Vogler, a siket vagy hallássérült embereknek szánt Gallaudet Egyetemen, a kommunikációs tanulmányok tanszékén viszont szkeptikus az ASL fordítására tervezett eszközökkel kapcsolatban, és szkepticizmusát sokan osztják a kurták közösségében.
Az eszközök általában nem igazán fordítják az ASL-t, pusztán felismerik a kézjeleket, és jelekre eső angol szóvá alakítják őket - mondja Vogler. Ez azt jelenti, hogy elvesznek a kulcsfontosságú nyelvtani információk, információk arról, hogy egy mondat kérdés, tagadás, relatív pont és így tovább. Míg a DeepASL teljes mondatokat fordít, az ASL nyelvtan néhány funkciója meghaladja a kézjeleket - az arckifejezéseket gyakran módosítóként használják, a szemöldök emelése kérdésbe hozhatja a kifejezést, a testhelyzet pedig azt jelzi, hogy az ASL felhasználó valaki másra idéz.
Eddig „egyik rendszer sem volt távoli szempontból hasznos az aláírók számára” - mondja Vogler, és hozzáteszi, hogy a kutatóknak gyakran úgy tűnik, hogy „nagyon kevés kapcsolatuk van a [siket és gyengén halló] közösséggel, és nagyon kevés elképzelésük van a valódi valóságaikról. igények."
Zhang csapata nem süket és hallássérült embereknél nem tesztelte a készüléket, hanem a jelnyelvi fordító programban részt vevő hallgatókkal. Zhang hangsúlyozza, hogy a DeepASL célja, hogy ezen a ponton csak az alapvető kommunikációt tegye lehetővé, és hogy ez csak egy kiindulási hely. Azt mondja, hogy csapata reméli, hogy a DeepASL képességeit a jövőben kibővíti, hogy az arckifejezéseket is rögzítse.
"Ez lesz a következő jelentős mérföldkő, amelyet elérnünk kell" - mondja.
Vogler szerint pozitív, hogy az MSU technológia mély tanulási módszereket alkalmaz, amelyek sikeresek voltak a beszélt nyelven. Annak ellenére, hogy nem szükséges kesztyű, a készüléknek valószínűleg ugyanazok a buktatói vannak, mint bármelyik korábbi rendszerben, mivel nem rögzíti az arc és a test mozgását.
Vogler szerint a kutatóknak el kell távolodniuk attól az elképzeléstől, miszerint a jelnyelvi felismerő eszközök valóban megfelelnek a személyes kommunikációs igényeknek.
"Számos lehetőségünk van a személyes kommunikáció megkönnyítésére, és mindaddig, amíg nincs valami olyan, amely ténylegesen tiszteletben tartja az aláírt nyelvek nyelvi tulajdonságait és az aláírók tényleges kommunikációs viselkedését, ezek az erőfeszítések sehol sem kerülnek helyettesítésre vagy helyettesítésre" - mondja. "Ehelyett az embereknek együtt kell működniük a tényleges közösség tagjaival és az emberekkel, akik megértik az aláírt nyelvek összetettségét."
Vogler szerint hasznos lenne a jelnyelvi felismerési technológiákhoz, például az MSU-khoz, olyan hang interfészekkel dolgozni, mint az Alexa. Ezeknek az interfészeknek a növekedése akadálymentesség kihívása a siket és hallássérültek számára, mondja, ugyanúgy, mint az internet - egy nagyrészt vizuális médium - komoly kihívást jelentett az évek során vak emberek számára.
"Jelenleg nincs hatékony és eredményes módja annak, hogy kölcsönhatásba lépjünk ezekkel a hang interfészekkel, ha nem képesek vagy nem akarjuk használni a hangunkat" - mondja. "A jelnyelv-felismerés tökéletesen illeszkedik ehhez a helyzethez, és valójában hasznos lehet és megszokni."
