Az elektronika és az idegtudomány fejlődésével a kutatók figyelemre méltó dolgokat tudtak elérni az agyimplantátumokkal, például a látók látványának visszaállítását a vakok számára. A fizikai érzékek helyreállítása mellett a tudósok innovatív módszereket is keresnek a kommunikáció megkönnyítésére azok számára, akik elvesztették a beszédet. Egy olyan új „dekóder”, amely például a koponya beültetett elektródjaitól veszi az adatokat, segítheti a bénult betegeket, hogy csak a fejükben beszéljenek.
A San Francisco-i Kaliforniai Egyetem (UCSF) kutatói kétlépcsős módszert fejlesztettek ki, hogy az agyjeleket számítógépes szintetizált beszédgé alakítsák. Ezzel a héten a Nature tudományos folyóiratban közzétett eredményeik lehetőséget kínálnak a folyékonyabb kommunikáció felé az emberek számára, akik elvesztették a beszédet.
A tudósok évek óta próbálják kihasználni az idegi bemeneteket, hogy visszakapcsoljanak azoknak az embereknek, akiknek idegrendszeri károsodása megakadályozza a beszélgetést - mint például a stroke túlélõi vagy ALS-betegek. Mostanáig ezeknek az agy-számítógép interfészeknek sok-sok betű szerinti megközelítést alkalmaztak, amelyben a betegek a szemüket vagy az arcizmaikat mozgatják gondolataik kifejtése érdekében. (Stephen Hawking híresen az arcán kis mozdulatokkal irányította beszédszintetizálóját.)
De az ilyen típusú interfészek lassúak - legtöbbjük 10 szót képes előállítani percenként, az emberek átlagos beszédsebességének töredéke 150 szó / perc. A gyorsabb és folyékonyabb kommunikáció érdekében az UCSF kutatói mély tanulási algoritmusokat alkalmaztak, hogy az idegi jeleket beszélt mondatokká alakítsák.
„Az agy érintetlen ezekben a betegekben, de a neuronok - a karokhoz, a szádhoz vagy a lábadhoz vezető utak - lebontásra kerülnek. Ezeknek az embereknek magas a kognitív működése és képességeik, de nem tudnak olyan napi feladatokat elvégezni, mint például bármit elmozdítani vagy mondani. ”- mondja Gopala Anumanchipalli, az új tanulmány társszerzője és az UCSF neurológiai sebészetére szakosodott kutatója. "Alapvetően megkerüljük a lebontott utat."
A kutatók nagyfelbontású agyi aktivitási adatokkal kezdték, amelyeket öt önkéntestől gyűjtöttek több év alatt. Ezek a résztvevők - akiknek normális beszédfunkciójuk volt - már megfigyelés alatt álltak az epilepsziás kezelés során, amely során az elektródákat közvetlenül az agyukba implantálták. Chang csapata ezeket az elektródokat az agy beszédével kapcsolatos tevékenységeinek nyomon követésére használta, miközben a betegek több száz mondatot olvastak el.
Innentől az UCSF csapata kétlépcsős eljárást dolgozott ki a beszélt mondatok újbóli létrehozására. Először egy dekódert hoztak létre, hogy a rögzített agyi aktivitási mintákat virtuális vokális traktus mozgó részeinek (ideértve az ajkakat, a nyelvet, az állkapcsot és a gégeket) utasításaiként értelmezzék. Ezután kifejlesztettek egy szintetizátort, amely a virtuális mozgásokat használta a nyelv előállításához.
Más kutatások megpróbálták a szavakat és a hangokat közvetlenül az idegi jelekből dekódolni, átugorva a mozgás dekódolásának középső lépését. Az UCSF kutatói által tavaly közzétett tanulmány azonban azt sugallja, hogy az agy beszédközpontja inkább arra összpontosít, hogy miként mozgathatja a vokális traktusokat hangok előállítása céljából, mintsem, hogy a kapott hangok milyenek lesznek.
„A beszédközpontokban az agyi tevékenység mintázatai kifejezetten a vokális mozgások összehangolására irányulnak, és csak közvetetten kapcsolódnak a beszédhangokhoz.” Edward Chang, az UCSF neurológiai sebészetének professzora és az új cikk társszerzője. - mondta a héten sajtótájékoztatón. "Kifejezetten megpróbáljuk dekódolni a mozgásokat hangok létrehozása érdekében, szemben a hangok közvetlen dekódolással."
Példa agyi implantátum elrendezésére az agyi aktivitás rögzítésére szolgáló intrakraniális elektródákhoz. (UCSF) Ennek a módszernek a felhasználásával a kutatók az agyi tevékenységből származó szavakat és mondatokat sikeresen átalakították, amelyek nagyjából megegyeztek a résztvevők beszédének hangfelvételével. Amikor egy online tömegbeszélő platformon felkérték az önkénteseket, hogy próbálják meg azonosítani a szavakat és átírják egy mondatot egy szóbank segítségével, sokan megértették a szimulált beszédet, bár pontosságuk messze nem volt tökéletes. A 101 szintetizált mondat közül kb. 80% -ot legalább egy hallgató tökéletesen átírta egy 25-szót használó bank segítségével (ez az arány kb. 60% -ra esett vissza, amikor a bankméret megkétszereződött).
Nehéz megmondani, hogy ezek az eredmények miként hasonlítanak más szintetizált beszédkísérletekhez - mondja Marc Slutzky, egy északnyugati neurológus, aki nem vett részt az új tanulmányban. Slutzky nemrégiben egy hasonló tanulmányon dolgozott, amely szintetizált szavakat közvetlenül az agykéreg jeleiből készített, anélkül, hogy a hangcsatorna mozgását dekódolta volna. Úgy véli, hogy a kapott beszédminőség hasonló volt - bár a teljesítménymutatók különbségei megnehezítik a közvetlen összehasonlítást.
Az UCSF-tanulmány egyik izgalmas aspektusa azonban az, hogy a dekóder bizonyos eredményeket általánosíthat a résztvevők között - mondja Slutzky. Az ilyen típusú kutatások egyik legnagyobb kihívása az, hogy a dekóder algoritmusok képzéséhez általában a résztvevőknek meg kell beszélniük, de a technológia azoknak a betegeknek szól, akik már nem tudnak beszélni. Az algoritmusok képzésének általánosítása lehetővé teheti a további munkát a bénult betegekkel.
Ennek a kihívásnak a kezelésére a kutatók egy résztvevővel is tesztelték az eszközt, aki csendben megszelídítette a mondatokat, ahelyett, hogy hangosan megszólalt volna. Noha a kapott mondatok nem voltak olyan pontosak, a szerzők azt állítják, hogy az a tény, hogy a szintézis még vokalizált beszéd nélkül is lehetséges volt, izgalmas következményekkel jár.
„Nagyon figyelemre méltó volt annak a felismerése, hogy még olyan hangból is előállíthatunk hangjelet, amely egyáltalán nem generál hangot.” - mondta Josh Chartier, a tanulmány társvezetője és az UCSF bioinžinész szakon végzett hallgatója a sajtótájékoztatón. .
A tanulmány szerzője, Gopala Anumanchipalli, PhD kép, amely példát tartalmaz az agyi aktivitás rögzítésére használt típusú intrakraniális elektródákra a jelenlegi tanulmányban. (UCSF) A jövőbeli kutatások másik célja a dekóder valós idejű demonstrációjának folytatása - mondja Anumanchipalli. A jelen tanulmány a koncepció bizonyítékaként szolgált - a dekódert az adatgyűjtési folyamattól elkülönítve fejlesztették ki, és a csapat nem próbálta ki az agyi tevékenység szintetizált beszédre való fordításának valós idejű sebességét, bár ez lenne a egy klinikai eszköz.
Jaimie Henderson, a Stanfordi idegsebész, aki nem vett részt a vizsgálatban, ezt a valós idejű szintézist olyasmi javítani kell, hogy egy ilyen eszköz a jövőben is hasznos legyen. Mégis azt mondja, hogy a szerzők kétlépcsős módszere izgalmas új megközelítés, és a mély tanulási technológia használata új betekintést nyújthat a beszéd tényleges működéséhez.
"Számomra nagyon izgalmas az a gondolat, hogy elkezdjük megvizsgálni azt, hogy miként alakul ki a beszéd az emberekben" - mondja Henderson. "[Ez a tanulmány] megkezdi az emberi képességek egyikének feltárását alapvető szinten."
