Bag magien:Gør bevægelige fotos til virkelighed

Folk, der bevæger sig ind og ud af fotografier, var førhen forbeholdt Harry Potters verden. Men nu har computerforskere ved University of Washington bragt den magi til det virkelige liv.

Deres algoritme, Foto vågne op, kan tage en person fra et 2-D foto eller et kunstværk og få dem til at køre, gå eller spring ud af rammen. Systemet giver også brugere mulighed for at se animationen i tre dimensioner ved hjælp af værktøjer til augmented reality. Forskerne præsenterer deres resultater 19. juni på konferencen om computervision og mønstergenkendelse i Long Beach, Californien. Denne forskning tiltrak først medieopmærksomhed, da den blev offentliggjort i fortryk i december på ArXiv.

"Dette er et meget hårdt grundlæggende problem i computersyn, "sagde medforfatter Ira Kemelmacher-Shlizerman, en lektor ved UW's Paul G. Allen School of Computer Science &Engineering. "Den store udfordring her er, at input kun er fra en enkelt kameraposition, så en del af personen er usynlig. Vores arbejde kombinerer teknisk fremskridt med et åbent problem på området med kunstnerisk kreativ visualisering. "

Tidligere har forskere troede, at det ville være umuligt at animere en person, der løber tør for et enkelt foto.

"Der er noget tidligere arbejde, der forsøger at oprette et 3D-tegn ved hjælp af flere synspunkter, "sagde medforfatter Brian Curless, en professor i Allen -skolen. "Men du kunne stadig ikke vække nogen til live og få dem til at løbe tør for en scene, og du kunne ikke bringe AR ind i det. Det var virkelig overraskende, at vi kunne få nogle overbevisende resultater ved kun at bruge et foto. "

Anvendelserne af Photo Wake-Up er mange, siger teamet. Forskerne forestiller sig, at dette kan føre til en ny måde for spillere at oprette avatarer, der rent faktisk ligner dem, en metode til, at besøgende kan interagere med malerier i et kunstmuseum - f.eks. sidde ned for at få te med Mona Lisa - eller noget, der lader børn bringe deres tegninger til live. Eksempler i forskningspapiret inkluderer animering af Golden State Warriors 'Stephen Curry til at løbe af banen, Paul McCartney til at springe af forsiden af ​​"Hjælp!" album og Matisses "Icarus" for at forlade hans ramme.

For at gøre magien til virkelighed, Photo Wake-Up starter med at identificere en person i et billede og lave en maske af kroppens omrids. Derfra, den matcher en 3D-skabelon til motivets kropsposition. Så gør algoritmen noget overraskende:For at fordreje skabelonen, så den faktisk ligner personen på billedet, det projicerer 3D-personen tilbage til 2-D.

"Det er meget svært at manipulere i 3-D præcist, "sagde medforfatter Chung-Yi Weng, en doktorand i Allen -skolen. "Måske kan du gøre det groft, men enhver fejl vil være indlysende, når du animerer karakteren. Så vi skal finde en måde at håndtere tingene perfekt på, og det er lettere at gøre dette i 2-D. "

Photo Wake-Up gemmer 3D-oplysninger for hver pixel:dens afstand til kameraet eller kunstneren og hvordan en persons led er forbundet med hinanden. Når skabelonen er blevet skævvridt til at matche personens form, algoritmen klistrer på teksturen - farverne fra billedet. Det genererer også personens bagside ved hjælp af oplysninger fra billedet og 3D-skabelonen. Derefter syr værktøjet de to sider sammen for at lave en 3D-person, der vil være i stand til at vende om.

Når 3D-tegnet er klar til at køre, algoritmen skal konfigurere baggrunden, så karakteren ikke efterlader et tomt rum. Photo Wake-Up fylder hullet bag ved personen ved at låne oplysninger fra andre dele af billedet.

Lige nu fungerer Photo Wake-Up bedst med billeder af mennesker, der vender fremad, og kan animere både kunstneriske kreationer og fotografier af rigtige mennesker. Algoritmen kan også håndtere nogle fotos, hvor folks arme blokerer en del af deres kroppe, men den er endnu ikke i stand til at animere mennesker, der har krydsede ben, eller som blokerer store dele af sig selv.

"Photo Wake-Up er en ny måde at interagere med fotos, "Sagde Weng." Det kan ikke gøre alt endnu, men dette er kun begyndelsen. "