Metode til at belyse egenskaber ved biologiske væv i billeder med lav eksponering

Små ufuldkommenheder i et vinglas eller små folder i en kontaktlinse kan være vanskelige at skelne fra, selv i godt lys. I næsten totalt mørke, billeder af sådanne transparente træk eller objekter er næsten umulige at tyde. Men nu, ingeniører på MIT har udviklet en teknik, der kan afsløre disse "usynlige" objekter, i mørket.

I en undersøgelse offentliggjort i dag i Fysisk gennemgangsbreve , forskerne rekonstruerede gennemsigtige objekter fra billeder af disse objekter, taget under næsten kulsorte forhold. De gjorde dette ved hjælp af et "dybt neuralt netværk, "en machine-learning-teknik, der involverer træning af en computer til at knytte bestemte input til specifikke output-i dette tilfælde, mørk, kornete billeder af gennemsigtige objekter og selve objekterne.

Holdet uddannede en computer til at genkende mere end 10, 000 gennemsigtige glaslignende ætsninger, baseret på ekstremt kornete billeder af disse mønstre. Billederne er taget under meget lave lysforhold, med omkring en foton pr. pixel - langt mindre lys, end et kamera ville registrere i mørke, lukket værelse. De viste derefter computeren et nyt kornet billede, ikke inkluderet i uddannelsesdataene og fandt ud af, at det lærte at rekonstruere det gennemsigtige objekt, som mørket havde skjult.

Resultaterne viser, at dybe neurale netværk kan bruges til at belyse gennemsigtige funktioner såsom biologiske væv og celler, i billeder taget med meget lidt lys.

"I laboratoriet, hvis du sprænger biologiske celler med lys, du brænder dem, og der er intet tilbage til billedet, "siger George Barbastathis, professor i maskinteknik ved MIT. "Når det kommer til røntgenbilleder, hvis du udsætter en patient for røntgenstråler, du øger faren for, at de kan få kræft. Det vi laver her er, du kan få den samme billedkvalitet, men med en lavere eksponering for patienten. Og inden for biologi, du kan reducere skaden på biologiske prøver, når du vil prøve dem. "

Barbastathis 'medforfattere på papiret er hovedforfatter Alexandre Goy, Kwabena Arthur, og Shuai Li.

Dyb mørk læring

Neurale netværk er beregningsskemaer, der er designet til løst at efterligne den måde, hjernens neuroner arbejder sammen om at behandle komplekse datainput. Et neuralt netværk fungerer ved at udføre successive "lag" af matematiske manipulationer. Hvert beregningslag beregner sandsynligheden for et givet output, baseret på et indledende input. For eksempel, givet et billede af en hund, et neuralt netværk kan identificere træk, der først minder om et dyr, så mere specifikt en hund, og i sidste ende, en beagle. Et "dybt" neuralt netværk omfatter mange, meget mere detaljerede lag af beregning mellem input og output.

En forsker kan "træne" et sådant netværk til at udføre beregninger hurtigere og mere præcist, ved at fodre den med hundredvis eller tusinder af billeder, ikke kun af hunde, men andre dyr, genstande, og mennesker, sammen med den korrekte etiket for hvert billede. Givet nok data til at lære af, det neurale netværk skal kunne klassificere helt nye billeder korrekt.

Dybe neurale netværk er blevet bredt anvendt inden for computer vision og billedgenkendelse, og for nylig, Barbastathis og andre udviklede neurale netværk til at rekonstruere transparente objekter i billeder taget med masser af lys. Nu er hans team det første til at bruge dybe neurale netværk i eksperimenter til at afsløre usynlige objekter i billeder taget i mørket.

"Usynlige objekter kan afsløres på forskellige måder, men det kræver normalt, at du bruger rigeligt lys, "Barbastathis siger." Det, vi gør nu, er at visualisere de usynlige objekter, i mørket. Så det er som to vanskeligheder tilsammen. Og alligevel kan vi stadig gøre den samme mængde åbenbaring. "

Loven om lys

Teamet konsulterede en database med 10, 000 integrerede kredsløb (IC), som hver er ætset med et andet indviklet mønster af vandrette og lodrette stænger.

"Når vi ser med det blotte øje, vi ser ikke meget - de ligner hver et gennemsigtigt stykke glas, "Goy siger." Men der er faktisk meget fine og overfladiske strukturer, der stadig har en effekt på lyset. "

I stedet for at æde hver af de 10, 000 mønstre på lige så mange glasskiver, forskerne brugte en "fase rumlig lysmodulator, "et instrument, der viser mønsteret på et enkelt glasglas på en måde, der genskaber den samme optiske effekt, som et faktisk ætset dias ville have.

Forskerne opstillede et eksperiment, hvor de pegede et kamera mod en lille aluminiumsramme indeholdende lysmodulatoren. De brugte derefter enheden til at gengive hver af de 10, 000 IC -mønstre fra databasen. Forskerne dækkede hele eksperimentet, så det var beskyttet mod lys, og brugte derefter lysmodulatoren til hurtigt at rotere gennem hvert mønster, på samme måde som en diaskarrusel. De tog billeder af hvert gennemsigtigt mønster, i næsten totalt mørke, producerer "salt-og-peber" billeder, der lignede lidt mere end statisk på en tv-skærm.

Teamet udviklede et dybt neuralt netværk til at identificere gennemsigtige mønstre fra mørke billeder, fodrede derefter netværket med hver af de 10, 000 kornete fotografier taget af kameraet, sammen med deres tilsvarende mønstre, eller hvad forskerne kaldte "jord-sandheder".

"Du fortæller computeren, 'Hvis jeg lægger dette i, du får dette ud, '"Siger Goy." Du gør dette 10, 000 gange, og efter uddannelsen, du håber, at hvis du giver det et nyt input, den kan fortælle dig, hvad den ser. "

"Det er lidt værre end en baby, "Barbastathis quips." Normalt lærer babyer lidt hurtigere. "

Forskerne indstillede deres kamera til at tage billeder lidt ude af fokus. Så kontraintuitivt som det ser ud til, dette virker faktisk for at bringe et gennemsigtigt objekt i fokus. Eller, mere præcist, defokusering giver nogle beviser, i form af krusninger i det detekterede lys, at en gennemsigtig genstand kan være til stede. Sådanne krusninger er et visuelt flag, som et neuralt netværk kan opdage som et første tegn på, at et objekt er et sted i et billedes kornethed.

Men defokusering skaber også sløring, som kan mudre et neuralt netværks beregninger. For at håndtere dette, forskerne indarbejdede i det neurale netværk en lov i fysik, der beskriver lysets adfærd, og hvordan det skaber en sløringseffekt, når et kamera er defokuseret.

"Det, vi ved, er den fysiske lov om lysudbredelse mellem prøven og kameraet, "Barbastathis siger." Det er bedre at inkludere denne viden i modellen, så det neurale netværk spilder ikke tid på at lære noget, som vi allerede ved. "

Skarpere billede

Efter træning af det neurale netværk den 10. 000 billeder af forskellige IC -mønstre, holdet skabte et helt nyt mønster, ikke inkluderet i det originale træningssæt. Da de tog et billede af mønsteret, igen i mørket, og fodrede dette billede ind i det neurale netværk, de sammenlignede de mønstre, som det neurale netværk rekonstruerede, både med og uden den fysiske lov, der er indlejret i netværket.

De fandt ud af, at begge metoder rekonstruerede det originale gennemsigtige mønster rimeligt godt, men den "fysikinformerede genopbygning" gav en skarpere, mere præcist billede. Hvad mere er, dette rekonstruerede mønster, fra et billede taget i næsten totalt mørke, var mere defineret end en fysikinformeret rekonstruktion af det samme mønster, afbildet i lys, der var mere end 1, 000 gange lysere.

Teamet gentog deres eksperimenter med et helt nyt datasæt, bestående af mere end 10, 000 billeder af mere generelle og varierede objekter, herunder mennesker, steder, og dyr. Efter træning, forskerne fodrede det neurale netværk med et helt nyt billede, taget i mørket, af en gennemsigtig ætsning af en scene med gondoler forankret ved en mole. Igen, de fandt ud af, at den fysikinformerede rekonstruktion gav et mere præcist billede af originalen, sammenlignet med reproduktioner uden den fysiske lov indlejret.

"Vi har vist, at dyb læring kan afsløre usynlige objekter i mørket, "Goy siger." Dette resultat er af praktisk betydning for medicinsk billeddannelse for at reducere patientens udsættelse for skadelig stråling, og til astronomisk billeddannelse. "

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT -forskning, innovation og undervisning.