Visuel gengivelse af former på 2-D displayenheder styret af håndbevægelser

Forskere ved NIT Kurukshetra, IIT Roorkee og IIT Bhubaneswar har udviklet en ny Leap Motion-controller-baseret metode, der kan forbedre gengivelsen af ​​2-D og 3-D-former på displayenheder. Denne nye metode, skitseret i et papir, der på forhånd blev offentliggjort på arXiv, sporer fingerbevægelser, mens brugere udfører naturlige gestus inden for synsfeltet på en sensor.

I de seneste år, forskere har forsøgt at designe innovative, berøringsfri brugergrænseflader. Sådanne grænseflader kan give brugerne mulighed for at interagere med elektroniske enheder, selv når deres hænder er snavsede eller ikke-ledende, samtidig med at man hjælper mennesker med delvise fysiske handicap. Undersøgelser, der har undersøgt disse muligheder, er blevet forstærket af fremkomsten af ​​billige sensorer, som dem, der bruges af Leap Motion, Kinect- og RealSense -enheder.

"Vi ønskede at udvikle en teknologi, der kan give en engagerende undervisningsoplevelse til elever, der lærer lerkunst eller endda børn, der lærer grundlæggende alfabeter, "Dr. Debi Prosad Dogra, en af ​​forskerne, der gennemførte undersøgelsen, fortalte TechXplore. "At forstå, at børn lærer bedre af visuelle stimuli, vi brugte en velkendt håndbevægelsesoptagelsesenhed til at give denne oplevelse. Vi ønskede at designe en ramme, der kan identificere lærerens fagter og gengive det visuelle på skærmen. Opsætningen kan bruges til applikationer, der kræver håndbevægelsesstyret visuel gengivelse. "

Rammerne foreslået af Dr. Dogra og hans kolleger har to forskellige dele. I den første del, brugeren udfører en naturlig gestus blandt de 36 typer af bevægelser, der er tilgængelige inden for Leap Motion -enhedens synsfelt.

"De to IR -kameraer inde i sensoren kan optage gestusekvensen, "Dr. Dogra sagde." Det foreslåede maskinlæringsmodul kan forudsige gestusklassen, og en gengivelsesenhed gør den tilsvarende form på skærmen. "

Brugerens håndbaner analyseres for at udtrække udvidede Npen ++ funktioner i 3D. Disse funktioner, repræsenterer brugerens fingerbevægelser under bevægelserne, fodres til en ensrettet venstre-til-højre skjult Markov-model (HMM) til træning. Systemet udfører derefter en en-til-en kortlægning mellem gestus og former. Endelig, figurerne, der svarer til disse fagter, gengives over displayet ved hjælp af MuPad -interface.

"Fra et udviklers perspektiv, den foreslåede ramme er en typisk åben ramme, "Forklarede Dr. Dogra." For at tilføje flere fagter, en udvikler skal bare indsamle gestus-sekvensdata fra et antal frivillige og genuddanne machine learning (ML) -modellen til nye klasser. Denne ML -model kan lære en generaliseret repræsentation. "

Som en del af deres undersøgelse, forskerne oprettede et datasæt med 5400 prøver registreret af 10 frivillige. Deres datasæt indeholder 18 geometriske og 18 ikke-geometriske former, inklusive cirkel, rektangel, blomst, kegle, kugle, og mange flere.

"Funktionsvalg er en af ​​de væsentlige dele for en typisk maskinlæringsapplikation, "Sagde Dr. Dogra." I vores arbejde, vi har udvidet de eksisterende 2-D Npen ++ funktioner i 3D. Det er blevet påvist, at udvidede funktioner forbedrer ydeevnen betydeligt. 3D-Npen ++-funktionerne kan også bruges til andre typer signaler, såsom detektion af kropsholdning, aktivitetsgenkendelse, etc."

Dr. Dogra og hans kolleger vurderede deres metode med en femdoblet krydsvalidering og fandt ud af, at den opnåede en nøjagtighed på 92,87 procent. Deres udvidede 3D-funktioner overgik de eksisterende 3D-funktioner til formrepræsentation og klassificering. I fremtiden, den metode, som forskerne har udtænkt, kan hjælpe udviklingen af ​​nyttige human-computer-interaktion (HCI) applikationer til smarte displayenheder.

"Vores tilgang til gestusgenkendelse er ret generel, "Tilføjede Dr. Dogra." Vi ser denne teknologi som et redskab til døve og handicappedes kommunikation. Vi vil nu bruge systemet til at forstå gestus og konvertere dem til skriftligt format eller former, at hjælpe mennesker i dagligdags samtaler. Med fremkomsten af ​​avancerede maskinlæringsmodeller som tilbagevendende neurale netværk (RNN) og langtidshukommelse (LSTM), der er også rigeligt omfang i klassificering af tidsmæssig signal. "

© 2018 Science X Network