Anvendelse af dyb læring til motion capture med DeepLabCut

Et team af forskere tilknyttet flere institutioner i Tyskland og USA har udviklet en dyb læringsalgoritme, der kan bruges til bevægelsesfangst af dyr af enhver art. I deres papir offentliggjort i tidsskriftet Natur Neurovidenskab, gruppen beskriver deres sporingsværktøj kaldet DeepLabCut, hvordan det virker og hvordan man bruger det. Kunlin Wei og Konrad Kording med henholdsvis University of Peking og University of Pennsylvania tilbyder et nyheder og synspunkter om arbejdet udført af gruppen i samme tidsskriftsudgave.

Som Wei og Kording bemærker, videnskabsmænd har forsøgt at anvende motion capture på mennesker og dyr i mere end et århundrede - ideen er at fange forviklingerne i alle de små bevægelser, der tilsammen udgør en større, mere mærkbar bevægelse, såsom et enkelt dansetrin. At være i stand til at spore sådanne bevægelser hos dyr giver nogle fingerpeg om deres biomekanik og hvordan deres hjerner fungerer. At være i stand til at gøre det med mennesker kan hjælpe med fysisk terapiindsats eller forbedringer i sportspræstationer. Den nuværende proces involverer videooptagelse af motivet og udførelse af en besværlig proces med at tagge billeder ramme for ramme. I denne nye indsats, forskerne har udviklet en computerautomatiseringsteknik til at udføre processen, gør det meget hurtigere og lettere.

For at oprette DeepLabCut, gruppen trænede et neuralt netværk ved hjælp af information fra en database kaldet Imagenet, der indeholder et enormt antal billeder og tilhørende metadata. De udviklede derefter en algoritme, der optimerede estimeringer af positurer. Det tredje stykke var softwaren, der kører algoritmen, interagerer med brugerne og tilbyder output af resultater. Resultatet er et værktøj, der kan bruges til at udføre motion capture på mennesker og stort set alle andre væsener. Det eneste, en bruger skal gøre, er at uploade eksempler på, hvad de leder efter, sige, billeder af et egern, med de vigtigste dele mærket og nogle videoer, der viser, hvordan den bevæger sig generelt. Derefter uploader brugeren video af et emne, der udfører en aktivitet af interesse – for eksempel, et egern, der knækker en nød. Softwaren klarer resten, producere motion capture af aktiviteten.

Teamet har gjort det nye værktøj frit tilgængeligt for alle, der ønsker at bruge det til det formål, de vælger. Wei og Kording foreslår, at værktøjet kunne revolutionere motion capture, gør det let tilgængeligt for både professionelle og nybegyndere.

© 2018 Tech Xplore