Hvordan man får elektrisk muskelstimulering til at føles naturligt for virtual reality-brugere

Hvis der er én velkendt lyd, hver gang en frivillig prøver en interaktiv enhed, der bruger elektrisk muskelstimulering, det er nok latter. Selv for erfarne brugere af teknologien, følelsen af ​​en maskine, der styrer din krop, føles unaturlig og mærkelig. Noget ved oplevelsen forstyrrer folks følelse af handlekraft – følelsen af ​​at have kontrol over sine handlinger – hvilket kan forstyrre teknologiens potentiale til at forbedre læring og gøre virtual reality mere realistisk.

Som Asst. Prof. Pedro Lopes udforskede enheder gennem en menneske-computer interface linse, først i sit doktorgradsarbejde ved Hasso Plattner Institute i Tyskland og nu ved University of Chicago, han blev interesseret i, om handlefrihed kan måles, kontrolleret eller endda gendannet under brug af sådanne enheder. I to nyeste banebrydende papirer, Lopes og samarbejdspartnere har været på sporet af agentur, bruger alt fra pitching-maskiner til fMRI-hjernescannere.

"Vi startede med at stille spørgsmålet:Skal elektrisk muskelstimulering altid føles så unaturligt, eller er der noget, vi kan gøre for at få det til at føles mere i overensstemmelse med din egen vilje? "sagde Lopes." Jeg tror, ​​vi lige er begyndt at svare på det, men der er uendelige måder at se på denne ting, fordi det er sådan et filosofisk spørgsmål."

Forskningen om agentur startede med en simpel demo udført på en konference i 2018 af Jun Nishida, nu en postdoktor ved University of Chicago:Kunne elektrisk muskelstimulering hjælpe folk med at fange en markør, der er faldet af en anden person på kort afstand?

Det gjorde, og som forventet, de fleste frivillige tilskrev handlingen til maskinen, ikke deres egne reflekser. Men et lille mindretal af deltagerne var uenige, siger, at stimulationen, kendt som EMS, må ikke have været tændt, fordi de fangede markøren uden hjælp.

Disse outliers inspirerede til et eksperiment, hvor Lopes, Nishida og Shunichi Kasahara fra Sony Computer Science Laboratories justerer tidspunktet for, hvornår EMS triggede en bruger til at udføre en bestemt opgave, som at trykke på en knap som reaktion på en stimulus, eller mere avancerede handlinger såsom at fotografere en hurtiggående baseball. De fandt ud af, at der er et tidsvindue, hvor det bliver meget svært for brugere at skelne mellem deres egne handlinger og dem, der genereres af EMS.

"Hvis vi gør det meget tidligt, vil det føles meget kunstigt, fordi du gør noget helt overmenneskeligt:​​Du rammer en bold meget hurtigere, eller du tager fat i pennen super tidligt, " sagde Lopes. "Men hvis vi ville lave stimulationen bare en lille smule, før du normalt ville gøre det selv, du opdager måske ikke engang, at dette var muskelstimuleringen og ikke dig. Du føler, at du gjorde det."

I den undersøgelse forsøgspersonerne blev spurgt mundtligt efter opgaven, om de følte, at de gjorde det selv eller blev hjulpet af EMS-enheden. I en nylig avis, Lopes gik dybere, høre direkte fra deltagernes hjerner, om de følte handlefrihed ved at måle dens elektriske aktivitet under en virtual reality-opgave.

I et virtual reality-miljø, brugere blev bedt om at røre ved en virtuel boks. Netop når deres fingre kontaktede den virtuelle boks, modtog de enten visuel feedback, eller billeder ledsaget af vibrationer på fingerspidserne, eller alt det ovenstående ledsaget også af muskelstimulering. Men i en bestemt undergruppe af forsøg, at feedback var "forkert, " opstod, før brugeren så ud til at røre ved boksen. Da denne uoverensstemmelse opstod, forskere så en bemærkelsesværdig ændring i hjernens elektriske aktivitet - et neuralt signal om, at virtual reality -oplevelsen var mindre realistisk.

"Din hjerne har en ret god detektor for, om du føler, at du er der, " sagde Lopes. "Det er en slags dynamisk måling af, hvordan du har det i de virtuelle verdener, selvom du ikke behøver at anmelde det."

Dette projekt faldt sammen med et sideløbende samarbejde mellem Lopes og neuroforskere ved University College London &FU Berlin, som ønskede at bruge EMS og fMRI til at søge efter hjerneområder, der skelner mellem selvgenereret og eksternt genereret bevægelse. Spørgsmålet afspejler den selektive karakter af berøring, hvor nogle fornemmelser, fra dine fingre, mens du leder efter en mønt i lommen, kan være ekstremt følsom, mens andre, såsom bevægelsen af ​​dine arme til og fra lommen, er praktisk talt umærkelige.

Lopes hjalp med at designe et system, hvor deltagere i en fMRI-scanner blev bedt om at bøje deres langfinger med eller uden hjælp fra EMS, modtage en taktil stimulus, der simulerer berøring af en hård overflade på halvdelen af ​​forsøgene. Denne opsætning gjorde det muligt for forskere at skille hjernens motoriske og sensoriske systemer ad, og søg efter det hjerneområde, der potentielt stiller disse svar. Dataene pegede på en region kaldet den bageste insulære cortex, som reagerede stærkt på berøring under selvgenereret bevægelse, men ikke under EMS-stimulering.

"Det tyder på, at der faktisk er en mekanisme forbundet med berøring, som tjekker for agentur og regulerer disse input, som kunne forklare, hvorfor vi så hurtigt kan skifte mellem én ting til en anden, hvis det er top-down, " sagde Lopes. "Den lille proces ser ud til at vide, hvad der foregår."

At nulstille dette hjerneområde og dets elektriske aktivitet kan guide ingeniører til at designe den næste bølge af EMS-enheder. Overvågning af en brugers hjerneaktivitet kan hjælpe udviklere til at vide, uden at spørge, om en virtual reality-oplevelse opfattes som ægte, så de kan finjustere softwaren i overensstemmelse hermed. Mere generelt, bevare en følelse af handlefrihed i brugeren kan gøre EMS mere effektivt til at lære nogen at udføre en fysisk handling, såsom at forbedre et tennisslag eller spille et instrument.

"Den næste ting vi prøver at se er, ved at bruge disse præcise timings, der hjælper dig med at være en smule hurtigere, men stadig giver dig en masse handlefrihed, påvirker dette den måde, du ville lære med et sådant system? "sagde Lopes." Det ville ikke forbedre dig dramatisk, fordi vi ved, at hvis det er for meget forandring fra din forventning, du kommer ikke til at tro det. Disse mindre ændringer kan få dig til at føle, at du forbedrer dig og give dig en masse chancer for at blive bedre."