Epidermal VR giver teknologien et menneskeligt præg

Forestil dig at holde i hånd med en elsket på den anden side af jorden. Eller føle et skulderklap fra en holdkammerat i onlinespillet "Fortnite".

Northwestern University forskere har udviklet en ny tynd, trådløst system, der tilføjer en følelse af berøring til enhver virtual reality-oplevelse (VR). Ikke alene tilføjer denne platform potentielt nye dimensioner til vores langdistanceforhold og underholdning, teknologien giver også proteser sensorisk feedback og giver telemedicin med et menneskeligt præg.

Benævnt et "epidermalt VR"-system, enheden kommunikerer berøring gennem en hurtig, programmerbar række miniature vibrerende aktuatorer indlejret i en tynd, blød, fleksibelt materiale. De 15-centimeter gange 15-centimeter arklignende prototyper laminerer komfortabelt på de buede overflader af huden uden omfangsrige batterier og besværlige ledninger.

"Folk har overvejet dette overordnede koncept tidligere, men uden et klart grundlag for en realistisk teknologi med det rigtige sæt af egenskaber eller den rette form for skalerbarhed. Tidligere design involverer manuelle samlinger af aktuatorer, ledninger, batterier og kombineret intern og ekstern kontrolhardware, " sagde Northwesterns John A. Rogers, en pioner inden for bioelektronik. "Vi udnyttede vores viden inden for strækbar elektronik og trådløs kraftoverførsel til at sammensætte en overlegen samling af komponenter, inklusive miniaturiserede aktuatorer, i en avanceret arkitektur designet som en hud-interfacet bærbar enhed - næsten uden belastninger for brugeren. Vi føler, at det er et godt udgangspunkt, der vil skalere naturligt til hele kroppens systemer og hundreder eller tusinder af diskrete, programmerbare aktuatorer."

"Vi udvider grænserne og mulighederne for virtual og augmented reality, " sagde Northwesterns Yonggang Huang, som ledte forskningen sammen med Rogers. "Sammenlignet med øjne og ører, huden er en relativt underudforsket sensorisk grænseflade, der kan forbedre oplevelserne betydeligt."

Forskningen offentliggøres den 21. november i tidsskriftet Natur .

Rogers er Louis Simpson og Kimberly Querrey professor i materialevidenskab og biomedicinsk teknik ved Northwesterns McCormick School of Engineering, professor i neurologisk kirurgi ved Feinberg School of Medicine og direktør for Center for Bio-integreret Elektronik.

Huang er Walter P. Murphy-professor i civil- og miljøteknik og professor i maskinteknik i McCormick.

Xinge Yu, en tidligere postdoc-stipendiat i Rogers' laboratorium og nuværende assisterende professor ved City University of Hong Kong, var avisens første forfatter.

Hvordan det virker

Rogers og Huangs mest sofistikerede enhed inkorporerer en distribueret række af 32 individuelt programmerbare, aktuatorer i millimeterskala, som hver især genererer en diskret følesans på et tilsvarende sted på huden. Hver aktuator giver stærkest resonans ved 200 cyklusser i sekundet, hvor huden udviser maksimal følsomhed.

"Vi kan justere frekvensen og amplituden af ​​hver enkelt aktuator hurtigt og on-the-fly gennem vores grafiske brugergrænseflade, " sagde Rogers. "Vi skræddersyede designene for at maksimere den sensoriske opfattelse af den vibrationskraft, der leveres til huden."

Patchen forbindes trådløst til en touchscreen-grænseflade (på en smartphone eller tablet). Når en bruger rører ved berøringsskærmen, det berøringsmønster overføres til plasteret. Hvis brugeren tegner et "X"-mønster på berøringsskærmen, for eksempel, enhederne producerer et sansemønster, samtidigt og i realtid, i form af et "X" gennem den vibrerende grænseflade til huden.

Når du videochatter fra forskellige steder, venner og familiemedlemmer kan række ud og virtuelt røre ved hinanden – med ubetydelig tidsforsinkelse og med pres og mønstre, der kan kontrolleres via berøringsskærmens grænseflade.

"Du kunne forestille dig, at sansning af virtuel berøring, mens du er på et videoopkald med din familie, kan blive allestedsnærværende i en overskuelig fremtid, " sagde Huang.

Aktuatorerne er indlejret i en iboende blød og let klæbrig silikonepolymer, der klæber til huden uden tape eller stropper. Trådløs og batterifri, enheden kommunikerer gennem NFC-protokoller (nærfeltkommunikation), den samme teknologi, der bruges i smartphones til elektroniske betalinger.

"Med denne trådløse strømforsyningsordning, vi undgår helt behovet for batterier, med deres vægt, størrelse, bulk og begrænset driftslevetid, " sagde Rogers. "Resultatet er en tynd, letvægtssystem, der kan bæres og bruges uden begrænsninger, på ubestemt tid."

Veteran beskriver vigtigheden af ​​sensorisk feedback

Alle kan forestille sig, hvordan denne type teknologi kan kombineres med et VR-headset for at skabe mere interaktive og fordybende spil- eller underholdningsoplevelser. Men for den amerikanske hærs veteran Garrett Anderson, epidermal VR kan give en tiltrængt løsning på et virkeligt problem.

Klokken 04.00 den 15. okt. 2005, Anderson blev overfaldet under sin udsendelse i Irak-krigen og mistede sin højre arm lige under albuen.

"En bombe eksploderede under min lastbil, " sagde Anderson. "Det blæste hele motoren ud af køretøjet. Så kom granatsplinter gennem køretøjet og skar min arm af, som blev hængende i sener."

Anderson prøvede for nylig Northwesterns system, integreret med sin armprotese. Når han har plasteret på sin overarm, Anderson kunne mærke fornemmelser fra hans protetiske fingerspidser overført til hans arm. Vibrationerne føltes mere eller mindre intense, afhængigt af hans grebs fasthed.

"Sig, at jeg griber et æg eller noget skrøbeligt, " sagde Anderson, som nu er opsøgende koordinator ved University of Illinois' Chez Veterans Center. "Hvis jeg ikke kan justere mit greb, så knuser jeg måske ægget. Jeg har brug for at vide, hvor meget greb jeg bruger, så jeg ikke sårer noget eller nogen."

'Jeg har aldrig følt dem med min højre arm'

Da personer, der har haft amputationer, bruger enheden, oplevelsen kunne blive mere problemfri.

"Brugere udvikler en evne til at føle berøring ved fingerspidserne af deres proteser gennem sensoriske input på overarmen, Rogers forklarede. "Overarbejde, din hjerne kan omdanne fornemmelsen på din arm til en surrogat følelse af følelse i dine fingerspidser. Det tilføjer en sensorisk kanal til at gengive følesansen."

Anderson mener, at denne enhed potentielt kan "narre" hans hjerne på en måde, der lindrer fantomsmerter. Han forestiller sig også, at det kunne give ham mulighed for at interagere med sine børn på en ny måde.

"Jeg mistede min arm for 15 år siden, " sagde han. "Mine børn er 13 og 10, så jeg har aldrig mærket dem med min højre arm. Jeg ved ikke, hvordan det er, når de tager fat i min højre hånd."

'Et udgangspunkt'

Rogers ser den aktuelle enhed som et udgangspunkt. "Dette er vores første forsøg på et system af denne type, " sagde han. "Det kunne være meget kraftfuldt til sociale interaktioner, klinisk medicin og anvendelser, som vi ikke kan forestille os i dag, ud over de åbenlyse muligheder inden for spil og underholdning."

Han og Huang arbejder allerede på at gøre den nuværende enhed slankere og lettere. De planlægger også at udnytte forskellige typer aktuatorer, inklusive dem, der kan fremkalde varme- og strækkefornemmelser. Med termiske indgange, for eksempel, en person kan måske fornemme, hvor varm en kop kaffe er gennem fingerspidserne.

Northwestern-teamet mener, at den overordnede tekniske ramme kan rumme hundredvis af aktuatorer med dimensioner, der er væsentligt mindre end dem, der bruges i øjeblikket, som har diametre på 18 millimeter og tykkelser på 2,5 millimeter.

Til sidst, enhederne kunne være tynde og fleksible nok til at blive vævet ind i tøj. Folk med proteser kunne bære VR-skjorter, der kommunikerer berøring gennem fingerspidserne. Og sammen med VR-headset, spillere kunne bære hele VR-dragter for at blive helt nedsænket i fantastiske landskaber.

"Virtual reality er et meget vigtigt spirende teknologiområde, " sagde Rogers. "I øjeblikket, vi bruger bare vores øjne og vores ører som grundlag for disse oplevelser. Samfundet har været forholdsvis langsomme til at udnytte kroppens største organ:huden. Vores følesans giver den mest dybe, dybeste, følelsesmæssig forbindelse mellem mennesker."