Fra en hjernescanning, mere information til medicinsk kunstig intelligens

MIT-forskere har udtænkt en ny metode til at indsamle mere information fra billeder, der bruges til at træne maskinlæringsmodeller, herunder dem, der kan analysere medicinske scanninger for at hjælpe med at diagnosticere og behandle hjernesygdomme.

Et aktivt nyt område inden for medicin involverer træning af deep-learning-modeller til at opdage strukturelle mønstre i hjernescanninger forbundet med neurologiske sygdomme og lidelser, såsom Alzheimers sygdom og dissemineret sklerose. Men det er besværligt at indsamle træningsdata:Alle anatomiske strukturer i hver scanning skal være særskilt skitseret eller håndmærket af neurologiske eksperter. Og, i nogle tilfælde, som for sjældne hjernesygdomme hos børn, kun få scanninger er muligvis tilgængelige i første omgang.

I et papir præsenteret på den nylige konference om computervision og mønstergenkendelse, MIT -forskerne beskriver et system, der bruger en enkelt mærket scanning, sammen med umærkede scanninger, til automatisk at syntetisere et massivt datasæt af forskellige træningseksempler. Datasættet kan bruges til bedre at træne maskinlæringsmodeller til at finde anatomiske strukturer i nye scanninger-jo flere træningsdata, jo bedre disse forudsigelser.

Kernen i arbejdet er automatisk at generere data til "billedsegmentering"-processen, som opdeler et billede i områder af pixels, der er mere meningsfulde og nemmere at analysere. For at gøre det, systemet bruger et konvolutionelt neuralt netværk (CNN), en maskinlæringsmodel, der er blevet et kraftcenter for billedbehandlingsopgaver. Netværket analyserer en masse umærkede scanninger fra forskellige patienter og forskelligt udstyr for at "lære" anatomisk, lysstyrke, og kontrastvariationer. Derefter, den anvender en tilfældig kombination af disse indlærte variationer på en enkelt mærket scanning for at syntetisere nye scanninger, der er både realistiske og nøjagtigt mærkede. Disse nysyntetiserede scanninger føres derefter ind i et andet CNN, der lærer at segmentere nye billeder.

"Vi håber, at dette vil gøre billedsegmentering mere tilgængelig i realistiske situationer, hvor du ikke har en masse træningsdata, " siger førsteforfatter Amy Zhao, en kandidatstuderende ved Institut for Elektroteknik og Datalogi (EECS) og Computer Science and Artificial Intelligence Laboratory (CSAIL). "I vores tilgang, du kan lære at efterligne variationerne i umærkede scanninger for intelligent at syntetisere et stort datasæt for at træne dit netværk."

Der er interesse for at bruge systemet, for eksempel, for at hjælpe med at træne modeller med prædiktiv analyse på Massachusetts General Hospital, Zhao siger, hvor der kun kan eksistere en eller to mærkede scanninger af særligt usædvanlige hjernetilstande blandt børnepatienter.

Tilslutter sig Zhao på papiret er:Guha Balakrishnan, en postdoc i EECS og CSAIL; EECS-professorerne Fredo Durand og John Guttag, og seniorforfatter Adrian Dalca, som også er fakultetsmedlem i radiologi ved Harvard Medical School.

"Magien" bag systemet

Selvom det nu anvendes på medicinsk billeddannelse, systemet startede faktisk som et middel til at syntetisere træningsdata til en smartphone-app, der kunne identificere og hente information om kort fra det populære samlekortspil, "Magic:The Gathering." Udgivet i begyndelsen af ​​1990'erne, "Magic" har mere end 20, 000 unikke kort – med flere frigivet med få måneders mellemrum – som spillere kan bruge til at bygge brugerdefinerede spillekort.

Zhao, en ivrig "Magic" spiller, ønskede at udvikle en CNN-drevet app, der tog et billede af ethvert kort med et smartphone-kamera og automatisk hentede information såsom pris og vurdering fra online kortdatabaser. "Da jeg valgte kort fra en spilbutik, Jeg blev træt af at indtaste alle deres navne i min telefon og slå bedømmelser og kombinationer op, "Siger Zhao." Ville det ikke være fantastisk, hvis jeg kunne scanne dem med min telefon og hente disse oplysninger? "

Men hun indså, at det er en meget hård computer-vision træningsopgave. "Du skal bruge mange billeder af alle 20, 000 kort, under alle forskellige lysforhold og vinkler. Ingen kommer til at samle det datasæt, " siger Zhao.

I stedet, Zhao trænede en CNN på et mindre datasæt på omkring 200 kort, med 10 forskellige fotos af hvert kort, for at lære at vride et kort i forskellige positioner. Den beregnede forskellig belysning, vinkler, og refleksioner – når kortene placeres i plastikhylstre – til syntetiserede realistiske skæve versioner af ethvert kort i datasættet. Det var et spændende passionsprojekt, Zhao siger:"Men vi indså, at denne tilgang var virkelig velegnet til medicinske billeder, fordi denne form for vridning passer rigtig godt til MRI'er."

Mind warp

Magnetiske resonansbilleder (MRI'er) er sammensat af tredimensionelle pixels, kaldet voxels. Ved segmentering af MR'er, eksperter adskiller og mærker voxelområder baseret på den anatomiske struktur, der indeholder dem. Mangfoldigheden af ​​scanninger, forårsaget af variationer i individuelle hjerner og brugt udstyr, udgør en udfordring ved at bruge maskinlæring til at automatisere denne proces.

Nogle eksisterende metoder kan syntetisere træningseksempler fra mærkede scanninger ved hjælp af "data augmentation, ", som fordrejer mærkede voxels i forskellige positioner. Men disse metoder kræver, at eksperter håndskriver forskellige augmentationsretningslinjer, og nogle syntetiserede scanninger ligner ikke en realistisk menneskelig hjerne, hvilket kan være skadeligt for læringsprocessen.

I stedet, forskernes system lærer automatisk, hvordan man syntetiserer realistiske scanninger. Forskerne uddannede deres system i 100 umærkede scanninger fra rigtige patienter til at beregne rumlige transformationer - anatomiske korrespondancer fra scanning til scanning. Dette genererede så mange "flowfelter, " som modellerer, hvordan voxels bevæger sig fra en scanning til en anden. Samtidig, den beregner intensitetstransformationer, som fanger udseende variationer forårsaget af billedkontrast, støj, og andre faktorer.

Ved generering af en ny scanning, systemet anvender et tilfældigt flowfelt på den originale mærkede scanning, som skifter rundt om voxels, indtil det strukturelt matcher en reel, umærket scanning. Derefter, det overlejrer en tilfældig intensitetstransformation. Endelig, systemet kortlægger etiketterne til de nye strukturer, ved at følge med i, hvordan voxerne bevægede sig i flowfeltet. Til sidst, de syntetiserede scanninger ligner meget de virkelige, umærkede scanninger - men med nøjagtige etiketter.

For at teste deres automatiserede segmenteringsnøjagtighed, forskerne brugte Dice-score, som måler, hvor godt en 3D-form passer over en anden, på en skala fra 0 til 1. De sammenlignede deres system med traditionelle segmenteringsmetoder – manuelle og automatiserede – på 30 forskellige hjernestrukturer på tværs af 100 holdte testscanninger. Store strukturer var sammenlignelige nøjagtige blandt alle metoderne. Men forskernes system overgik alle andre tilgange til mindre strukturer, såsom hippocampus, som kun fylder omkring 0,6 procent af en hjerne, efter volumen.

"Det viser, at vores metode forbedres i forhold til andre metoder, især når du kommer ind i de mindre strukturer, hvilket kan være meget vigtigt for at forstå sygdom, " siger Zhao. "Og det gjorde vi, mens vi kun behøvede en enkelt håndmærket scanning."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.