Decrapifying hjernebilleder med dyb læring

Lærebogsbeskrivelser af hjerneceller får neuroner til at se enkle ud:en lang rygsøjlelignende central axon med forgrenede dendritter. Taget individuelt, disse kan være nemme at identificere og kortlægge, men i en egentlig hjerne, de er mere som en knudret bunke blæksprutter, med hundredvis af lemmer sammenflettet. Dette gør forståelsen af, hvordan de opfører sig og interagerer, til en stor udfordring for neuroforskere.

En måde, som forskere løser vores neurale virvar på, er gennem mikroskopisk billeddannelse. Ved at tage billeder af meget tynde lag af en hjerne og rekonstruere dem i tredimensionel form, det er muligt at bestemme, hvor strukturerne er, og hvordan de hænger sammen.

Men dette bringer sine egne udfordringer. Få billeder i høj opløsning, og fange dem hurtigt for at dække en rimelig del af hjernen, er en stor opgave.

En del af problemet ligger i de kompromiser og kompromiser, som enhver fotograf er bekendt med. Åbn blænden længe nok til at lukke masser af lys ind, og enhver bevægelse vil forårsage en sløring; tag et hurtigt billede for at undgå sløring, og motivet kan blive mørkt.

Men andre problemer er specifikke for de metoder, der bruges til hjernerekonstruktion. For en, billeddannelse af hjernen i høj opløsning tager uhyre lang tid. For en anden, i den meget udbredte teknik kaldet seriel blok-ansigtselektronmikroskopi, et stykke væv skæres i en blok, overfladen er afbildet, en tynd sektion skæres væk, og blokken afbildes derefter igen; processen gentages indtil afslutning. Imidlertid, elektronstrålen, der skaber de mikroskopiske billeder, kan faktisk få prøven til at smelte, forvrænger det motiv, den forsøger at fange.

Uri Manor, direktør for Waitt Advanced Biophotonics Core Facility ved Salk Institute for Biological Studies i San Diego, er ansvarlig for at køre adskillige højdrevne mikroskoper, der bruges af forskere over hele landet. Han har også til opgave at identificere og implementere nye mikroskoper og udvikle løsninger, der kan løse problemer, som nutidens teknologier kæmper med.

"Hvis nogen kommer med et problem, og vores instrumenter ikke kan gøre det, eller vi kan ikke finde en, der kan, det er mit job at udvikle den evne, " sagde Manor.

Er klar over de billeddiagnostiske problemer, som neuroforskere står over for, han besluttede, at en ny tilgang var nødvendig. Hvis han havde nået de fysiske grænser for mikroskopi, Manor begrundede, måske bedre software og algoritmer kunne give en løsning.

"Der er sofistikerede matematiske og beregningsmæssige tilgange, som er blevet undersøgt i årtier for at fjerne støj uden at fjerne signaler, " sagde Manor. "Det var der, jeg startede."

Arbejder med Linjing Fang, en billedanalysespecialist hos Salk, de lavede en strategi om at bruge GPU'er (grafikbehandlingsenheder) til at accelerere mikroskopisk billedbehandling.

De startede med et billedbehandlingstrick kaldet deconvolution, som delvist var blevet udviklet af John Sedat, en af ​​Manors videnskabelige helte og en mentor hos Salk. Fremgangsmåden blev brugt af astronomer, der ønskede at opløse billeder af stjerner og planeter med større opløsning, end de kunne opnå direkte fra teleskoper.

"Hvis du kender dit systems optiske egenskaber, så kan du sløre dine billeder og få dobbelt opløsning af originalen, " forklarede han.

De mente, at deep learning - en form for maskinlæring, der bruger flere lag af analyse til gradvist at udtrække funktioner på højere niveau fra rå input - kunne være meget nyttig til at øge opløsningen af ​​mikroskopbilleder, en proces kaldet super-opløsning.

MRI'er, satellitbilleder, og fotografier havde alle tjent som testcases til at udvikle dyb læringsbaseret, superopløsningstilgange, men bemærkelsesværdigt lidt var blevet gjort i mikroskopi. Måske, Manor tænkte, det samme kunne gøres med mikroskopi.

Det første trin i træningen af ​​et dybt læringssystem involverer at finde et stort korpus af data. For det, Manor slog sig sammen med Kristen Harris, en neurovidenskabsprofessor ved University of Texas i Austin og en af ​​de førende eksperter i hjernemikroskopi.

"Hendes protokoller bruges over hele verden. Hun lavede åben videnskab, før det var cool, " sagde Manor. "Hun får utroligt detaljerede billeder og har samarbejdet med Salk i en årrække."

Harris tilbød Manor så mange data, som han havde brug for til træning. Derefter, ved at bruge Maverick-supercomputeren ved Texas Advanced Computing Center (TACC) og flere dages kontinuerlig beregning, han skabte lavopløsningsanaloger af højopløsningsmikroskopbillederne og trænede et dybt læringsnetværk på disse billedpar.

"TACC har været utrolig hjælpsom, "Manor sagde. "De gav os hardware til at træne, før vores hår faldt af, og forsynede os med beregningsekspertise og hjalp endda med at køre beregningseksperimenter for at finjustere vores proces."

Desværre, Manors første forsøg på at skabe superopløsningsversioner af lavopløsningsbilleder var mislykkede. "Da vi prøvede at teste systemet på lavopløsningsdata fra den virkelige verden, der var meget mere støjende end vores træningsdata med lav opløsning, netværket gjorde det ikke så godt."

Manor havde endnu et held, da Jeremy Howard, grundlægger af fast.ai, og Fred Monroe, fra Wicklow AI Medical Research Initiative (WAMRI.ai), kom til Salk på udkig efter forskningsproblemer, der kunne drage fordel af dyb læring.

"De var begejstrede for det, vi laver. Det var en perfekt applikation til deres dybe læringsmetoder og deres ønske om at hjælpe med at bringe dyb læring til nye domæner, Manor huskede. "Vi begyndte at bruge nogle af deres tricks, som de havde etableret, inklusive svindel."

På tidspunktet for deres møde, Manor og Fang havde beregnet reduceret opløsningen af ​​deres billeder til træningspar, men de var stadig ikke slemme nok. De brugte også en type deep learning-arkitektur kaldet generative adversarial networks (GAN'er).

"De foreslog at tilføje mere støj beregningsmæssigt, huskede han. "Smid noget sløring ind, og forskellige slags støj, for at gøre billeder virkelig skøre.' De havde bygget et bibliotek af crapifications, og vi crappede vores billeder, indtil det lignede meget mere, eller endnu værre end, hvordan det ser ud, når du erhverver et billede i lav opløsning i verden. De hjalp os også med at skifte væk fra GAN'er til U-Net-arkitekturer, som er meget nemmere at træne og bedre til at fjerne støj."

Manor genoptrænede sit AI-system ved hjælp af de nye billedpar og deep learning-arkitektur og fandt ud af, at det kunne skabe billeder i høj opløsning, der var meget lig dem, der oprindeligt var blevet skabt med større forstørrelse. I øvrigt, uddannede eksperter var i stand til at finde hjernecelletræk i afkrappede versioner af prøverne i lav opløsning, som ikke kunne påvises i originalerne.

Endelig, de satte deres system på den rigtige prøve:at anvende metoden på billeder, der er lavet i andre laboratorier med forskellige mikroskoper og præparater.

"Normalt i dyb læring, du skal omskole og finjustere modellen til forskellige datasæt, " sagde Manor. "Men vi var glade for, at vores system fungerede så godt til en bred vifte af prøve- og billedsæt."

Succesen betød, at prøver kunne afbildes uden at risikere skade, og at de kunne opnås mindst 16 gange så hurtigt som traditionelt.

"At afbilde hele hjernen i fuld opløsning kan tage over hundrede år, " Manor forklarede. "Med en stigning på 16 gange i hele, det bliver måske 10 år, hvilket er meget mere praktisk."

Holdet offentliggjorde deres resultater i Biorxiv, præsenterede dem på F8 Facebook Developer Conference og den 2. NSF NeuroNex 3DEM Workshop, og gjorde koden tilgængelig via GitHub.

"Ikke kun virker denne tilgang. Men vores træningsmodel kan bruges med det samme, " sagde Manor. "Det er ekstremt hurtigt og nemt. Og enhver, der ønsker at bruge dette værktøj, vil snart være i stand til at logge ind på 3DEM.org [en webbaseret forskningsplatform fokuseret på at udvikle og formidle nye teknologier til 3-dimensionel elektronmikroskopi med forbedret opløsning, støttet af National Science Foundation] og køre deres data igennem det."

"Uri fremmer virkelig denne idé om billedforbedring gennem dyb læring, " sagde Harris. "I sidste ende, vi håber, at vi ikke får nogle elendige billeder. Men lige nu, mange af billederne har dette problem, så der vil være steder, hvor du vil udfylde hullerne baseret på, hvad der er til stede i de tilstødende sektioner."

Manor håber på at udvikle software, der kan udføre rekonstruktion i farten, så forskere kan se billeder i super opløsning med det samme, frem for i efterbehandling. Han ser også potentialet for at forbedre ydeevnen af ​​de millioner af mikroskoper, der allerede findes i laboratorier rundt om i verden, og for at bygge et helt nyt mikroskop fra bunden, der udnytter AI-kapaciteten.

"Billigere, højere opløsning, hurtigere – der er masser af områder, som vi kan forbedre."

Med et proof of concept på plads, Manor og hans team har udviklet et værktøj, der vil muliggøre fremskridt inden for neurovidenskab. Men uden tilfældige samarbejder med Kristen Harris, Howard og Monroe og TACC, det er måske aldrig blevet til noget.

"Det er et smukt eksempel på, hvordan man virkelig gør fremskridt inden for videnskaben. Du skal have eksperter, der er åbne for at arbejde sammen med mennesker, uanset hvor i verden de befinder sig, for at få noget til at ske, " sagde Manor. "Jeg føler mig bare så meget heldig at have været i en position, hvor jeg kunne kommunikere med alle disse verdensklasse holdkammerater."