Et webcam er nok til at producere en 3D-model i realtid af en bevægende hånd

At fange hånd- og fingerbevægelser inden for millisekunder bliver stadig vigtigere for mange applikationer, fra virtual reality til menneske-maskine-interaktion og industri 4.0. Indtil nu, dets enorme tekniske krav har begrænsede mulige anvendelser. Dataloger ved Max Planck Institute for Informatics har nu udviklet et softwaresystem, der involverer interaktion mellem forskellige neurale netværk, som kun kræver det indbyggede kamera på en bærbar computer.

For første gang, forskerne præsenterer programmet på stand G75 i hal 27 på computermessen Cebit, som finder sted i Hannover fra den 11. juni og frem.

Da datalog Franziska Müller holder sin hånd foran kameraet til den bærbare computer, håndens virtuelle modstykke vises på skærmen. Dette er overlejret af et farverigt virtuelt håndskelet. Uanset hvilke bevægelser Müllers hånd laver foran webkameraet, de farvede knogler i modellen gør det samme. Müller demonstrerer den software, hun udviklede sammen med professor Christian Theobalt og andre forskere fra Max Planck Institute for Computer Science i Saarbrücken, Stanford University og den spanske King Juan Carlos University. Indtil nu, ingen anden software kan gøre dette med et så billigt kamera.

Da det virker i næsten alle slags filmede scener, den kan bruges overalt, og overtrumfer dermed tidligere tilgange, der kræver et dybdekamera eller flere kameraer. Algoritmen, som systemet bruger, omdanner videobilledets todimensionelle information i realtid til den tredimensionelle bevægelsesmodel af håndens knogler. Det er baseret på et såkaldt "konvolutionelt neuralt netværk, " eller kort sagt CNN. Forskerne har trænet den til at detektere håndens knogler. De har genereret de nødvendige træningsdata med et andet neuralt netværk. Resultatet:Softwaren beregner de nøjagtige 3-D-stillinger af håndens knogler i millisekunder. Selvom nogle af dem er okkluderede, for eksempel, af et æble holdt i brugerens hånd, softwaren kompenserer. Imidlertid, systemet har stadig problemer med at behandle flere hænder, der arbejder sammen, og at løse dette er forskernes næste mål.