Oprettelse af 3-D-printede bevægelsesskulpturer fra 2-D-videoer

Patriots quarterback Tom Brady har ofte krediteret sin succes for at bruge utallige timer på at studere sin modstanders bevægelser på film. Denne forståelse af bevægelse er nødvendig for alle levende arter, om det er at finde ud af, hvilken vinkel man skal kaste en bold i, eller opfatter rovdyrs og byttedyrs bevægelse. Men simple videoer kan faktisk ikke give os det fulde billede.

Det er fordi traditionelle videoer og billeder til at studere bevægelse er todimensionelle, og vis os ikke den underliggende 3D-struktur af personen eller emnet af interesse. Uden den fulde geometri, vi kan ikke inspicere de små og subtile bevægelser, der hjælper os med at bevæge os hurtigere, eller få mening med den præcision, der skal til for at perfektionere vores atletiske form.

For nylig, selvom, forskere fra MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) har fundet frem til en måde at få bedre styr på denne forståelse af kompleks bevægelse.

Det nye system bruger en algoritme, der kan tage 2-D-videoer og omdanne dem til 3-D-printede "bevægelsesskulpturer", der viser, hvordan en menneskekrop bevæger sig gennem rummet. Ud over at være en spændende æstetisk visualisering af form og tid, holdet forestiller sig, at deres "MoSculp"-system kunne muliggøre en meget mere detaljeret undersøgelse af bevægelse for professionelle atleter, dansere, eller enhver, der ønsker at forbedre deres fysiske færdigheder.

"Forestil dig, at du har en video af Roger Federer, der serverer en bold i en tenniskamp, og en video af dig selv, hvor du lærer tennis, " siger Ph.D.-studerende Xiuming Zhang, hovedforfatter på et nyt papir om systemet. "Du kan derefter bygge bevægelsesskulpturer af begge scenarier for at sammenligne dem og mere omfattende studere, hvor du skal forbedre."

Fordi bevægelsesskulpturer er 3D, brugere kan bruge en computergrænseflade til at navigere rundt i strukturerne og se dem fra forskellige synspunkter, afsløre bevægelsesrelateret information utilgængelig fra det oprindelige synspunkt.

Zhang skrev papiret sammen med MIT-professorerne William Freeman og Stefanie Mueller, Ph.D. studerende Jiajun Wu, Google-forskere Qiurui He og Tali Dekel, samt U.C. Berkeley postdoc og tidligere CSAIL Ph.D. Andrew Owens.

Hvordan det virker

Kunstnere og videnskabsmænd har længe kæmpet for at få bedre indsigt i bevægelse, begrænset af deres eget kameraobjektiv og hvad det kunne give.

Tidligere arbejde har mest brugt såkaldte "stroboskopiske" fotograferingsteknikker, som ligner meget billederne i en flip-bog, der er syet sammen. Men da disse billeder kun viser øjebliksbilleder af bevægelse, du ville ikke være i stand til at se så meget af en persons arms bane, når de slår en golfbold, for eksempel.

Hvad mere er, disse fotografier kræver også besværlig forudgående opsætning, såsom at bruge en ren baggrund og specialiserede dybdekameraer og lysudstyr. Alt MoSculp behøver er en videosekvens.

Givet en input-video, systemet registrerer først automatisk 2-D nøglepunkter på motivets krop, såsom hoften, knæ, og ankel af en ballerina, mens hun laver en kompleks dansesekvens. Derefter, det tager de bedst mulige positurer fra disse punkter for at blive omdannet til 3-D "skeletter."

Efter at have syet disse skeletter sammen, systemet genererer en bevægelsesskulptur, der kan 3D-printes, viser det glatte, kontinuerlig bevægelsesbane sporet af motivet. Brugere kan tilpasse deres figurer til at fokusere på forskellige kropsdele, tildele forskellige materialer for at skelne mellem dele, og endda tilpasse belysningen.

I brugerundersøgelser, forskerne fandt, at over 75 procent af forsøgspersonerne mente, at MoSculp gav en mere detaljeret visualisering til at studere bevægelse end standardfotograferingsteknikkerne.

"Dans og højtuddannede atletiske bevægelser virker ofte som 'bevægelige skulpturer', men de skaber kun flygtige og flygtige former, " siger Courtney Brigham, kommunikationsansvarlig hos Adobe. "Dette værk viser, hvordan man tager bevægelser og gør dem til rigtige skulpturer med objektive visualiseringer af bevægelse, giver atleter mulighed for at analysere deres bevægelser til træning, kræver ikke mere udstyr end et mobilkamera og noget regnetid."

Systemet fungerer bedst til større bevægelser, som at kaste en bold eller tage et fejende spring under en dansesekvens. Det virker også til situationer, der kan hindre eller komplicere bevægelse, personer, der bærer løst tøj eller bærer genstande.

I øjeblikket, systemet bruger kun scenarier for én person, men teamet håber snart at udvide til flere personer. Dette kunne åbne mulighed for at studere ting som sociale lidelser, interpersonelle interaktioner, og teamdynamik.