MIT CSAIL:Afslører skjult video fra skygger

Et team af forskere viste, at de kan gendanne en video af bevægelse, der finder sted i en skjult scene ved at observere ændringer i belysningen i et nærliggende synligt område. De så på den indirekte effekt på skygger og skygge i et observeret område.

Oversættelse:Leg med skygger til information kan være alvorligt givende. Forskerteamet skabte en ny AI-algoritme, der kan hjælpe kameraer med at "se" ting uden for kameraet ved kun at bruge bevægelige skygger.

Deres metode kan rekonstruere en skjult video baseret på de skygger, den kaster. Resultatet er, at du kan estimere, hvordan den skjulte video ser ud.

Hillary Grigonis i Digitale tendenser skrev om deres forskning med en interessant sammenligning - som "at læse skyggedukker omvendt." Hvordan det? "... computeren ser den kaninformede skygge og kan derefter oprette et skøn over objektet, der skabte den skygge. Computeren ved ikke, hvad objektet er, men kan give en grov kontur af formen. "

Til at begynde med, de var interesserede i at løse problemet med aktivitet, der finder sted uden for deres synsfelt.

Der er mere information om projektwebsiden MIT CSAIL (Computer Science and Artificial Intelligence Laboratory) på compmirrors.csail.mit.edu og på GitHub.

Forfatterne overvejede værdien af ​​deres forskning:"Vi har vist, at rodede scener kan beregnes til lavopløselige spejle uden forudgående kalibrering." Med kun en enkelt inputvideo af den synlige scene, de kunne gendanne en latent video af den skjulte scene samt en let transportmatrix.

"Vi finder det bemærkelsesværdigt, " de sagde, "at det blot er at bede om latente faktorer, der let kan udtrykkes af et CNN [konvolutionelt neuralt netværk], er tilstrækkeligt til at løse vores problem, giver os mulighed for fuldstændig at omgå udfordringer som f.eks. estimering af geometrien og reflektansegenskaberne i scenen. "

Sendt den 6. december, deres video har titlen "Computational Mirrors:Revealing Hidden Video." Michael Zhang ind PetaPixel opsummerede, hvad de gjorde i videoen. "Forskere ved MIT's CSAIL fortæller, hvordan de pegede et kamera mod en bunke objekter og derefter filmede skyggerne, der blev skabt på disse objekter af en person, der bevæger sig uden for kameraet."

Videooverskrifterne påpegede yderligere, at deres metode også kan rekonstruere silhuetten af ​​en live-action-forestilling fra dens skygger. Resultaterne dækker i det mindste farve og bevægelse. Zhang vurderede, hvad de kunne. "AI analyserede skyggerne og var i stand til at rekonstruere en sløret, men påfaldende præcis video af, hvad personen lavede med deres [sic] hænder."

Potentielle applikationer? Videonoter:"Med yderligere forfining, denne metode kunne gøre det muligt for selvkørende biler at opdage skjulte forhindringer.

Rachel Gordon, MIT CSAIL, talte om andre muligheder:centre for ældrepleje, der kigger efter deres beboeres sikkerhed; søge-og-redningsteam gør brug af dette, når de skal navigere i farlige og forhindrede områder.

Alt i alt, forskerne har taget en interessant vej mod at fatte information ud over synsfeltet, men andre på MIT har på en måde været der, gjort det. Scener uden for en normal sigtelinje var fokus for MIT -forskere for syv år siden, sagde CSAILs Gordon, og de brugte derefter lasere til at producere 3D-billeder.

I den seneste forskningsindsats har imidlertid, teamet ønskede at se, hvad de kunne opnå uden at bruge noget særligt udstyr. Gordon citerede den ledende forsker om dette. Miika Aittala, hvem sagde, "Du kan opnå ganske lidt med billedudstyr, der ikke er synligt, f.eks. Lasere, men i vores tilgang har du kun adgang til det lys, der naturligt når kameraet, og du prøver at få mest muligt ud af de knappe oplysninger i den. "

Tænk unscramble. Udfordringen var at afvikle og give mening om disse belysningstegn. Tænk algoritme. Gordon skrev, at teamet fokuserede på at bryde tvetydigheden ved at specificere algoritmisk, at de ønskede et 'scrambling' mønster, der svarer til sandsynlig virkelighedens skygge og skygge, at afdække den skjulte video, der ligner den har kanter og objekter, der bevæger sig sammenhængende.

Hun forklarede, at deres algoritme træner to neurale netværk samtidigt. "Et netværk producerer krypteringsmønsteret, og den anden vurderer den skjulte video. Netværket belønnes, når kombinationen af ​​disse to faktorer gengiver den video, der er optaget fra rodet, får dem til at forklare observationerne med sandsynlige skjulte data. "

Deres papir, der diskuterer deres arbejde, kaldes "Computational Mirrors:Blind Inverse Light Transport by Deep Matrix Factorization, "og det er på arXiv. Forfattere er Miika Aittala, Prafull Sharma, Lukas Murmann, Adam Yedidia, Gregory Wornell, William T. Freeman og Frédo Durand.

Rapporter sagde, at de ville præsentere deres arbejde på Conference on Neural Information Processing Systems (NeurIPS 2019) i Vancouver, Britisk Columbia.

© 2019 Science X Network