En ny teknik til at syntetisere slørede billeder

Forskere hos Google har for nylig udviklet en ny teknik til at syntetisere et sløret bevægelsesbillede, ved hjælp af et par uslørede billeder taget i rækkefølge. I deres papir, forudgivet den arXiv , forskerne skitserede deres tilgang og evaluerede den i forhold til flere grundlæggende metoder.

Bevægelsessløring opstår naturligt, når objekterne i en scene eller selve kameraet bevæger sig, mens et billede tages. Dette resulterer i, at det/de bevægelige objekter eller hele billedet fremstår sløret. I nogle tilfælde, bevægelsessløring kan bruges til at angive hastigheden af ​​et fotograferet motiv eller til at adskille det fra baggrunden.

"Bevægelsessløring er et værdifuldt signal i forbindelse med billedforståelse, "Tim Brooks og Jonathan Barron, de forskere, der har udført undersøgelsen, skrev i deres papir. "I betragtning af et enkelt billede, der indeholder bevægelsessløring, man kan estimere den relative retning og størrelsen af ​​scenebevægelsen, der resulterede i den observerede sløring. Dette bevægelsesestimat kan være semantisk meningsfuldt, eller kan bruges af en sløringsalgoritme til at syntetisere et skarpt billede."

Nyere forskning har undersøgt brugen af ​​deep learning-algoritmer til at fjerne uønsket bevægelsessløring fra billeder eller til at udlede bevægelsesdynamikken i en given scene. For at træne disse algoritmer, imidlertid, forskere har brug for en betydelig mængde data, som typisk genereres af syntetisk slørende skarpe billeder. Ultimativt, i hvilket omfang en deep learning-algoritme effektivt kan fjerne bevægelsessløring i rigtige billeder, afhænger i høj grad af realismen i de syntetiske data, der bruges til at træne dem.

"I denne avis, vi behandler det omvendte af denne velundersøgte sløringsestimering/fjernelsesopgave som et førsteklasses problem, "Skrev Brooks og Barron i deres papir. "Vi præsenterer en hurtig og effektiv måde at syntetisere de træningsdata, der er nødvendige for at træne en motion-slørringsalgoritme, og vi viser kvantitativt, at vores teknik generaliserer fra vores syntetiske træningsdata til ægte bevægelsesslørede billeder."

Den neurale netværksarkitektur udtænkt af Brooks og Barron inkluderer et nyt "linjeforudsigelse"-lag, som lærer et system at regressere fra billedpar af fortløbende optagne billeder til et sløret bevægelsesbillede, der spænder over optagelsestiden for disse to inputbilleder. Deres model kræver en stor mængde træningsdata, så forskerne designet og udførte en strategi, der bruger rammeinterpolationsteknikker til at generere et stort syntetisk datasæt af slørede bevægelsesbilleder, sammen med deres respektive input.

Brooks og Barron fangede også et testsæt af høj kvalitet af slørede billeder i ægte bevægelse syntetiseret fra slowmotion-videoer og brugte derefter dette til at evaluere deres model i forhold til baseline-teknikker. Deres model opnåede meget lovende resultater, overgå eksisterende tilgange i både nøjagtighed og hastighed.

"Vores tilgang er hurtig, nøjagtig, og bruger let tilgængelige billeder fra videoer eller 'bursts' som input, og giver således en sti til at muliggøre manipulation af bevægelsessløring i forbrugerfotograferingsapplikationer, og til at syntetisere de realistiske træningsdata, der er nødvendige af slørings- eller bevægelsesestimeringsalgoritmer, " skrev forskerne i deres papir.

Mens erfarne fotografer og filmfotografer ofte bruger bevægelsessløring som en kunstnerisk effekt, Det kan være meget udfordrende at producere effektive bevægelsesslørede fotografier. I de fleste tilfælde, disse billeder er et produkt af en lang prøve- og fejlproces, kræver avancerede færdigheder og udstyr.

På grund af vanskelighederne med at opnå kvalitetseffekter af bevægelsessløring, de fleste forbrugerkameraer er designet til at tage billeder med så lidt bevægelsessløring som muligt. Det betyder, at amatørfotografer har meget lidt plads til at eksperimentere med bevægelsessløring i deres billeder.

"Ved at tillade, at bevægelsesslørede billeder syntetiseres ud fra de konventionelle uslørede billeder, der optages af standard forbrugerkameraer, vores teknik gør det muligt for ikke-eksperter at skabe bevægelsesslørede billeder i en post-capture indstilling, " forklarede forskerne i deres papir.

Ultimativt, tilgangen udviklet af Brooks og Barron kunne have en række interessante anvendelser. For eksempel, det kunne gøre kunstnerisk bevægelsessløring tilgængelig for afslappede fotografer, samtidig med at de genererer mere realistiske slørede billeder for at træne dyb læringsalgoritmer.

© 2018 Science X Network