Steven Spielberg 2018. évi filmjében, a Ready Player One-ban, az Ernest Cline 2011. évi könyve alapján, az emberek belépnek az OASIS elnevezésű, elmerülõ virtuális valóság világába. A sci-fi filmben leginkább a futurisztikus technológia volt a vonzó, nem a VR védőszemüveg, amely nem tűnik annyira távol az Oculus, a HTC és mások által jelenleg forgalmazott headsetektől. Ez egy látáson és hangon kívül eső érzék bevonása volt: érintés.
A karakterek visszacsatolású kesztyűt viseltek, amelyek lehetővé teszik, hogy érezzék a kezükben lévő képzeletbeli tárgyakat. Fejlesztettek olyan teljes testruhákra, amelyek megismételik a lyukasztó erőt a mellkasán vagy a simogatást. És ezek a képességek még valószínűleg nem lesznek olyan messze, mint gondolnánk.
Folyamatosan támaszkodunk az érintéses vagy „haptikus” információkra, olyan módon, ahogyan még tudatosan nem ismerjük fel. A bőrünkben, az ízületekben, az izmokban és a szervekben lévő idegek megmutatják nekünk, hogy testünk hogyan helyezkedik el, milyen szorosan tartunk valamit, milyen az időjárás, vagy hogy egy szeretett ember ölelést mutat ki szeretettel. A világ minden tájáról a mérnökök azon dolgoznak, hogy reális érintésérzékeket hozzanak létre videojátékokhoz és így tovább. Az ember-számítógép interakciók bevonása javítaná a robotvezérlést, a fizikai rehabilitációt, az oktatást, a navigációt, a kommunikációt és még az online vásárlást is.
"A múltban a haptikumok jók voltak a dolgok észrevehetővé tételében, a telefon vibrációjával vagy a játékvezérlők zümmögésével" - mondta Heather Culbertson, a dél-kaliforniai egyetem számítógépes tudósa. "De most elmozdult az a helyzet, hogy a természetesebbnek érző dolgokat olyan formákká alakítsák, amelyek jobban utánozzák a természetes anyagok és a természetes kölcsönhatások érzetét."
A jövő nem csak fényes, hanem texturált is.
* * *
A haptikus eszközöket három fő típusba lehet sorolni: megfogható, hordható és érinthető. Ha megérthető, gondoljon a joystickra. Az egyik egyértelmű alkalmazás a robotok működésében van, így egy kezelő érezheti, hogy a robot mennyire ellenáll annak.
Vegyünk sebészeti robotokat, amelyek lehetővé teszik az orvosok számára, hogy a világ másik oldaláról működjenek, vagy manipulálják a szerszámokat, amelyek túl kicsik vagy a kezük számára szűk helyen vannak. Számos tanulmány kimutatta, hogy haptikus visszajelzés hozzáadása a robotok irányításához növeli a pontosságot, csökkenti a szövetek károsodását és a műveleti időt. A haptikus visszajelzéssel rendelkezők lehetővé teszik az orvosok számára, hogy csak a virtuális valóságban létező betegekre képezzék a képeket, miközben megkapják a tényleges vágás és varrás érzését. Culbertson egyik diákja jelenleg fogászati szimulátorokat fejleszt, így a fogorvos általi első hibás fúrás nem egy igazi fogon történik.
A mérnökök olyan rendszereket építenek, amelyek valósághű érintésérzetet közvetítenek a videojátékokhoz, robotvezérlőkhöz és még sok minden máshoz, a lehetséges alkalmazások széles skálájával. (A Knowable Magazine jóvoltából) Megtudhatja, mit csinál a robot az Ön parancsnoka alatt, és ez segíthet a bombák lebontásában vagy az emberek összegyűjtésében az összeomlott épületekből. Vagy egy műholdas javításához, űrjáróra való felvétel nélkül. Még a Disney is megvizsgálta a haptikus telepresence robotokat a biztonságos ember-robot interakció érdekében. Olyan rendszert fejlesztettek ki, amely pneumatikus csövekkel köti össze a humanoid robotkarjait egy tükörrel, amely az ember számára megragadható. Az a személy, aki manipulálja a tükörbotot, előidézheti, hogy az első bot léggömböt tartson, tojást vegyen fel, vagy egy gyermeket az arcára tapadjon.
Kisebb léptékben a Jamie Paik robotista laboratóriuma a Lausanne-i Svájci Szövetségi Technológiai Intézetben (EPFL) kifejlesztett egy hordozható haptikus interfészt, a Foldaway néven. A négyzet alakú italvasaló méretét és formáját mutató eszközöknek három csuklós karja van, amelyek felbukkannak, és középen találkoznak. (Stefano Mintchev, a laboratóriumi posztdoktor „miniatürizált origami robotoknak” hívja őket.) Egy kis műanyag fogantyú beragadható a tetejére, ahol a karok találkoznak, így egy joystickot hoznak létre, amely három dimenzióban működik - és a karok hátradőlnek, hogy a felhasználónak a tárgyak érzése, amelyekkel szemben támaszkodik. Demókban a csapat az eszközöket egy légi drón vezérlésére, virtuális tárgyak összenyomására és a virtuális emberi anatómia alakjának megismerésére használta.
A haptikumok megragadásában vannak bizonyos kihívások, amelyek megdönthetetlennek tűnhetnek - például hogyan biztosíthatja a súlyérzetet súlytalan digitális tárgyak megragadásakor és felemelésekor? De az idegtudomány tanulmányozásával a mérnököknek sikerült néhány megoldást találniuk. Culbertson és munkatársai kifejlesztettek egy Grabity nevű eszközt a gravitációs probléma megoldására. Ez egyfajta vise, amelyet megfoghat és megnyomhat, hogy felvegye a virtuális objektumokat. Egyszerűen azzal, hogy bizonyos módon rezg, a súly és tehetetlenség illúzióját hozza létre.
De „az agy becsapása csak ilyen messzire megy” - mondja Ed Colgate, az északnyugati egyetem gépészmérnöke, aki heptikában dolgozik. Időnként könnyű megtörni a haptikus illúziókat. Úgy gondolja, hogy a mérnököknek hosszú távon a lehető leghűségesebben kell újra létrehozniuk a valós világ fizikáját - a súlyt és az egészet. "Ez egy nagyon nehéz probléma."
A Grabity (alsó) nevű megfogható haptikus eszköz a súly és tehetetlenség illúzióját nyújtja a virtuális objektumok kezeléséhez. Itt utánozza a blokk érzését (felül). (A Stanford Shape Lab jóvoltából) A megfogható eszközök gyakran kihasználják a kinetikus érzéseket: mozgás, helyzet és erő érzéseit, amelyeket az idegek közvetítenek nem csak a bőrünkben, hanem az izmainkban, az inakban és az ízületekben is. A hordható eszközök viszont általában tapintható érzéseken - nyomáson, súrlódáson vagy hőmérsékleten - alapulnak, amelyeket a bőr idegei közvetítenek.
Különféle kísérleti eszközöket hordnak az ujján, és az ujjpadot különböző erősségű erővel nyomják, amikor az egyik a virtuális valóság tárgyait érinti. De egy legújabb eszköz ugyanolyan visszajelzést nyújt, anélkül, hogy letakarná az ujjat. Ehelyett azt viselik, ahol gyűrű viselhető, és motorokat tartalmaz, amelyek a bőr alá nyújtják. Ez lehetővé teszi az ujjak számára, hogy kölcsönhatásba lépjenek a valós objektumokkal, miközben továbbra is érzékelik a „virtuális” tárgyakat - ez egy hasznos szolgáltatás mind a játékokhoz, mind a komoly alkalmazásokhoz.
Az egyik tesztben egy ember valódi krétát tarthatott és nyomást érezhetett, amikor egy virtuális táblára írtak egy haptikus illúzió következtében: Mialatt egyidejűleg látták a krétát érintkezni a táblára, és úgy érezték, hogy a bőrük feszült, becsaptak őket. nyomás érzéséhez az ujjaikban.
Általánosabban, a hordható haptic eszközök rezgésen keresztül kommunikálnak. Culbertson laboratóriuma például egy karkötőn dolgozik, amely a viselője felé fordulásának irányába vezeti a felhasználót. És a NeoSensory, a Stanford idegtudós kutatója, David Eagleman, 32 vibrációs motorral ellátott mellényt dolgoz ki, amelyet a HBO sci-fi sorozatának Westworld egyik epizódjában mutattak be, ahol látszólag segített a szereplőknek azonosítani az ellenségek közeledésének irányát.
A mellény egyik első valódi alkalmazása a hang tapintható szenzációvá történő fordítása, hogy a beszélt nyelv érthetőbbé váljon a mély vagy teljes halláskárosodásban szenvedő emberek számára. Eagleman azon dolgozik, hogy a látványvilág aspektusait vakok számára rezgésekké alakítsa. Más erőfeszítések elvont információkat tartalmaznak, mint például a piaci és a környezeti adatok - a helyek helyét jelző rács helyett egy komplex vibrációs mintázat tucatnyi részvény árát jelezheti.
Ez a kép egy puha, rugalmas, bőrre emlékeztető anyag kialakítását mutatja, amely megfelel a testnek, hordható haptikus eszközökhöz. Az érzékelő és a működtető rétegeket szilikon rétegek választják el egymástól. Az érzékelőrétegben az ólom-cirkonát-titanát (PZT) az erőt átalakítja az elektromos töltéshez, hogy visszacsatolja a számítógépet. A szelepmozgató réteg apró zsebeket tartalmaz, amelyek másodpercenként sokszor feltölthetők a viselő viszonyainak. (A HA Sonar et al., A Frontiers in Robotics and AI 2016 adaptációja) A rezgő motorok terjedelmesek lehetnek, ezért egyes laboratóriumok sokkal kényelmesebb megoldásokat fejlesztenek ki. Az EPFL Paik laboratóriuma lágy pneumatikus működtető (SPA) bőrön dolgozik - egy 2 mm-nél rövidebb rugalmas szilikonlapon, amely apró levegőzsebekkel van ellátva. Felfújhatók és leereszthetők egymástól függetlenül, több tucatszor másodpercenként, és így pixelekként - vagy „tapintható” elemekként - tapintható elemekhez képesek működni, létrehozva az érzékelési rácsot. Előfordulhat, hogy olyan érzéseket ad, amilyene a ruha kínál a Ready Player One programban, vagy visszajelzést adhat a robotok vagy a protetikai végtagok helyzetéről. A SPA bőrbe egy új, korrózióálló fémötvözetből készült érzékelők vannak beágyazva, amelyek lehetővé teszik, hogy ugyanazt a bőrt számítógépes adatbevitelre használják, amikor a felhasználó megszorítja.
A vékonyabb filmben is vékonyabb, kevesebb, mint fél milliméter vastag film van, amelyet a Novasentis készített, és egy új formájú polivinilidén-fluorid műanyagból készült, amely kiegyensúlyozza az erőt, a rugalmasságot és az elektromos reakcióképességet. Amikor a fóliát egy rugalmas anyagból készült lap egyik oldalára rétegezzük és elektromos töltést alkalmazunk, a film összehúzódik és hajlítja a lapot, nyomással a bőrre. A Novasentis most az anyagot továbbítja azoknak a készülékek gyártóinak, akik kesztyűbe helyezik azokat a virtuális valóság és a játék érdekében.
"Megkülönböztetheti a vizet a homoktól és a sziklától" - mondja Sri Peruvemba, a cég marketing alelnöke. A VR tervezői elvont abszolút reprezentációkat is létrehozhatnak, például érzékszervi üzeneteket a játék állapotáról. "Technológiánkkal egész haptikus nyelvet tudunk létrehozni" - mondja Peruvemba.
A rezgések újabb haptikus illúziót eredményezhetnek: a húzás érzetét. Ha egy eszköz, amely a bőr felületével párhuzamosan rezeg, gyorsan mozog az egyik irányba, és lassan a másik irányba, másodpercenként sokszor, úgy érzi, mintha az első irányba húzza a bőrt.
Míg a legtöbb hordható anyag tapintási érzést alkalmaz, addig is használhatják az izom-ízület-ín-bemenetet a kinestéses érzéshez. A mérnökök kifejlesztettek robotok exoskeletonjait, egyfajta állványt, amelyet érzékelőkkel és motorokkal a testhez rögzítettek, és amelyek segíthetnek a bénult embereknek járni, rendkívüli erőt adnak a katonáknak, és lehetővé teszik az embereknek, hogy távolról irányítsák a robotokat. Az EPFL egyik laboratóriuma kifejlesztette a FlyJacket, melyet karokkal egyenesen az oldalára viszik, dugattyúval a derékhoz kötik. Nem tűnik különösebben repülõnek, de megengedi az embereknek, hogy karjuk mozgatásával és a torzó elforgatásával irányítsák a légi drónok repülését. Ha a drogos szélszél érzi magát, akkor ezt is teheti.
Az eszközök végső kategóriája az érinthető interfészek, például az okostelefon képernyői, amelyek egy kis kattanást mutatnak, amikor egy alkalmazásra kattintanak. Culbertson alkotása túlmutat az egyszerű ütéseket és zümmögéseket. Szimulálja a felületek textúráját, az úgynevezett „adatvezérelt haptikumok” segítségével. Ahelyett, hogy bonyolult algoritmusokat vagy fizikai modelleket írna fel, hogy rezgéseket generáljon, amelyek szimulálják a valódi képeket, feljegyzi, mi történik, amikor valamit különböző szövetekre vagy más anyagokra húznak különböző sebességgel és nyomást. Aztán egy felületen játssza le a rezgéseket, amikor egy tollat húz rajta. Az alkalmazások tartalmazhatnak online vásárlást és virtuális múzeumokat.
Az érinthető tapintású eszköz lehetővé teszi a felhasználó számára, hogy „érezze” a különböző textúrákat, attól függően, hogy a rezgésminták átjutnak a tollon. A rezgések a toll mozgatásának sebességétől vagy a felhasználó által kifejtett nyomástól függően változnak. A cél a felületek érdességének, keménységének és csúszásának reális szimulálása. (Heather Culbertson jóvoltából) Az érinthető felületek bizonyos típusú illúziókat is lehetővé tesznek. Culbertson szerint például egy gombnyomás hangjának lejátszása, amikor egy gombnyomásra kattint, úgy érezheti, hogy a gomb valóban kattan. Ha pedig úgy tűnik, hogy a képernyő deformálódik az ujja alatt, akkor lágyabb lehet. Az emberek az érzékelést úgy építik fel, hogy összekapcsolják a látást, a hangot, az érzést, az ízét és a szagát - és ahogy Culbertson mondja: „Nagyon könnyű becsapni az agyad, ha az érzékei között nincs eltérés.
A VR reális haptikája örökre nehézkes és drága. Vagy a technológia előfordulhat, hogy a Ready Player One megjelenése furcsa. Mindkét esetben, amint láthatjuk olyan baba lépésekkel, mint például a videojáték-vezérlők és a végtelenül vibráló telefonok és órák átható rohanása, a haptikus eszközök itt maradnak, új dimenziót adva digitális életünknek.
A Knowable Magazine egy független újságírói törekvés, amelyet az Annual Reviews készített. 
