Stretch-sensing handske fanger interaktive håndstillinger præcist

At fange interaktive håndstillinger i realtid og med realistiske resultater er et vel undersøgt problem inden for computing, især menneskecentreret computer- og motion capture-teknologi. Menneskelige hænder er komplekse - et indviklet flexorsystem, ekstensorer, og sensoriske evner, der tjener som vores primære middel til at manipulere fysiske objekter og kommunikere med hinanden. Den nøjagtige bevægelsesoptagelse af hænder er relevant og vigtig for mange applikationer, såsom spil, forstærkede og virtual reality -domæner, robotik, og de biomedicinske industrier.

Et globalt team af computerforskere fra ETH Zürich og New York University har yderligere avanceret dette forskningsområde ved at udvikle et brugervenligt, stretch-sensing datahandske til at fange realtid, interaktive håndposer med meget mere præcision.

Forskergruppen, herunder Oliver Glauser, Shihao Wu, Otmar Hilliges, og Olga Sorkine-Hornung fra ETH Zürich og Daniele Panozzo fra NYU, vil demonstrere deres innovative handske ved SIGGRAPH 2019, afholdt 28. juli-1. august i Los Angeles. Denne årlige samling viser verdens førende fagfolk, akademikere, og kreative sind i spidsen for computergrafik og interaktive teknikker.

Den største fordel ved deres stretch-sensing handsker, siger forskerne, er, at de ikke kræver en kamera-baseret opsætning-eller andet eksternt udstyr-og kunne begynde at spore håndstillinger i realtid med kun minimal kalibrering.

"Så vidt vi ved, vores handsker er de første præcise håndfangende datahandsker, der udelukkende er baseret på strækningssensorer, "siger Glauser, en hovedforfatter af værket og en ph.d. studerende ved ETH Zürich. "Handskerne er bløde og tynde, gør dem meget behagelige og diskret at have på, selvom de har 44 integrerede sensorer. De kan fremstilles til en lav pris med værktøjer, der almindeligvis er tilgængelige i fabrikationslaboratorier. "

Glauser og samarbejdspartnere satte sig for at overvinde nogle vedvarende udfordringer i replikationen af ​​nøjagtige håndstillinger. I dette arbejde, de adresserede forhindringer som f.eks. at fange håndbevægelserne i realtid i forskellige miljøer og indstillinger, samt kun at bruge brugervenligt udstyr og en let at lære tilgang til opsætning. De demonstrerer, at deres stretch-sensing bløde handsker har succes med at beregne håndpositioner nøjagtigt i realtid, selvom brugeren holder et fysisk objekt, og under forhold som lav belysning.

Forskerne brugte en silikoneforbindelse i form af en hånd udstyret med 44 strækningssensorer og fastgjorde dette til en handske lavet af blødt, tyndt stof. For at rekonstruere håndposen fra sensoraflæsningerne, forskerne bruger en datadrevet model, der udnytter layoutet af selve sensoren. Modellen trænes kun én gang; og for at indsamle træningsdata, forskerne bruger en billig, genopbygningssystem på hånden.

Til undersøgelsen, de sammenligner nøjagtigheden af ​​deres sensorhandsker med to state-of-the-art kommercielle handskeprodukter. I alt undtagen én hånd, forskernes roman, stretch-sensing handsker modtog den laveste fejlretur for hver interaktiv pose.

I det fremtidige arbejde, teamet agter at undersøge, hvordan en lignende sensortilgang kunne bruges til at spore en hel arm for at få handskens globale position og orientering, eller måske endda en hel kropsdragt. I øjeblikket har forskerne fremstillet mellemstore handsker, og de vil gerne udvide til andre størrelser og former.

"Dette er et allerede velstuderet problem, men vi fandt nye måder at løse det på i forhold til de sensorer, der anvendes i vores design og vores datadrevne model, "bemærker Glauser." Det, der også er spændende ved dette arbejde, er den tværfaglige karakter af arbejdet med dette problem. Det krævede ekspertise fra forskellige områder, herunder materialevidenskab, fremstilling, Elektroteknik, computer grafik, og maskinlæring. "