LeRop:En dyb læringsbaseret model til automatisk at fange menneskelige portrætter

At tage fotografier i god kvalitet kan være en udfordrende opgave, da det typisk kræver at finde ideelle steder, vinkler og lysforhold. Selvom kunstneriske billeder hidtil primært er taget af menneskelige fotografer, i de seneste år, nogle forskere er begyndt at undersøge muligheden for automatisk at tage billeder ved hjælp af robotter.

Til denne ende, et team af forskere ved Purdue University og Adobe Research har for nylig udviklet en ny ramme, der gør det muligt for en robot automatisk at fange fotografier af mennesker, specifikt portrætter. Denne ramme, præsenteret i et papir, der er udgivet på arXiv, får robotter til at følge en menneskelig bruger til et ideelt sted og derefter tage et billede af dem.

LeRop, de rammer udviklet af forskerne, var specielt designet til at tage indendørs portrætter af mennesker. Først, rammen styrer en robot mod en gunstig eller ønsket placering til at tage billeder, og derefter bruger den en fotoevalueringsmodel til at foreslå de bedste visninger, samt deep amplification learning (DRL) model til justering af robotens position og orientering for at sikre de bedste lysforhold.

"Når komponering er aktiveret, robotten forsøger at justere sin position for at danne den visning, der bedst matcher det givne skabelonbillede og til sidst tager et fotografi, "forskerne skrev i deres papir." Et skabelonbillede kan forudsiges dynamisk ved hjælp af en off-the-shelf fotoevalueringsmodel ved hjælp af rammen, eller valgt manuelt fra et foruddefineret sæt af brugeren. "

LeRop er en interaktiv ramme, da brugerne kan programmere det til at følge et mål til det sted, hvor hun ønsker at tage et fotografi. Når brugeren når dette sted, robotten begynder at søge efter den bedste udsigt at fange. LeRops DRL -komponent er det, der i sidste ende tillader det at justere sit synspunkt baseret på, hvordan det matcher skabelonbilleder.

Forskerne besluttede at udstyre robotten med et 360-graders kamera og et hovedkamera i høj kvalitet, da dette tillader det at have et fuldt udsyn til sine omgivelser til enhver tid uden kontinuerligt at rotere eller skifte til forskellige synspunkter. Interessant nok, rammen har en modulær struktur, hvilket betyder, at alle dens modeller kan udskiftes eller tilpasses ud fra en brugers behov.

Teamet vurderede LeRop i en række forskellige testtest på tre indendørs scener, integrere den i en simpel robot kaldet Turtlebot. Robotten tog 20 fotografier af en menneskelig bruger i hver af disse tre indstillinger, 10 med en foruddefineret skabelon og 10 ved hjælp af skabeloner, som den genererede dynamisk.

Det gennemsnitlige antal justeringer foretaget af robotten var 11,20 for foruddefinerede skabeloner og 12,76 for dynamisk genererede. Ud over, ved hjælp af forskernes rammer, robotten kunne tage billeder i en gennemsnitlig tid på 22,11 sekunder ved hjælp af foruddefinerede skabeloner og 22,40 sekunder ved hjælp af dynamisk genererede.

LeRop-rammen kan være et første skridt i retning af oprettelsen af ​​et effektivt robotfotografisystem, der hurtigt og automatisk kan tage portrætter af høj kvalitet. Imidlertid, systemet udviklet af forskerne har stadig en række begrænsninger, der kan forhindre det i at blive vedtaget i stor skala. For eksempel, indtil nu, det har begrænset indbygget beregningsevne, og fungerer derfor kun på en kraftfuld fjerncomputer.

Ud over, forskerne har hidtil kun integreret det i Turtlebot, som er en simpel robot med meget få frihedsgrader. I deres næste værker, de vil gerne teste deres system på en mere kompleks robot med flere frihedsgrader.

"Vores system understøtter i øjeblikket kun et enkeltpersonportræt, "skrev forskerne." Nye politikker skulle genuddannes for at få bedre støtte til at tage gruppebilleder. I det fremtidige arbejde, Vi vil også gerne teste forskellige fotoevalueringsæstetiske modeller og udvide arbejdet til udendørs scener. "

© 2019 Science X Network