Maskinlæring genererer 3D-model fra 2D-billeder

Forskere fra McKelvey School of Engineering ved Washington University i St. Louis har udviklet en maskinlæringsalgoritme, der kan skabe en kontinuerlig 3D-model af celler ud fra et delvist sæt 2D-billeder, der blev taget ved hjælp af de samme standard mikroskopiværktøjer, som findes i mange laboratorier i dag .

Deres resultater blev offentliggjort 16. september i tidsskriftet Nature Machine Intelligence .

"Vi træner modellen på sættet af digitale billeder for at opnå en kontinuerlig repræsentation," sagde Ulugbek Kamilov, assisterende professor i elektro- og systemteknik og i datalogi og teknik. "Nu kan jeg vise det, som jeg vil. Jeg kan zoome jævnt ind, og der er ingen pixelering."

Nøglen til dette arbejde var brugen af ​​et neuralt feltnetværk, en særlig slags maskinlæringssystem, der lærer en kortlægning fra rumlige koordinater til de tilsvarende fysiske størrelser. Når uddannelsen er afsluttet, kan forskerne pege på en hvilken som helst koordinat, og modellen kan give billedværdien på det sted.

En særlig styrke ved neurale feltnetværk er, at de ikke behøver at blive trænet på rigelige mængder af lignende data. I stedet, så længe der er et tilstrækkeligt antal 2D-billeder af prøven, kan netværket repræsentere det i sin helhed, indvendigt og udvendigt.

Billedet, der bruges til at træne netværket, er ligesom ethvert andet mikroskopibillede. I det væsentlige er en celle tændt nedefra; lyset rejser gennem det og fanges på den anden side, hvilket skaber et billede.

"Fordi jeg har nogle visninger af cellen, kan jeg bruge disse billeder til at træne modellen," sagde Kamilov. Dette gøres ved at tilføre modellen information om et punkt i prøven, hvor billedet fangede noget af cellens indre struktur.

Så tager netværket sit bedste skud på at genskabe den struktur. Hvis outputtet er forkert, justeres netværket. Hvis det er korrekt, forstærkes den vej. Når forudsigelserne matcher målinger i den virkelige verden, er netværket klar til at udfylde dele af cellen, som ikke blev fanget af de originale 2D-billeder.

Modellen indeholder nu information om en fuld, kontinuerlig repræsentation af cellen – der er ingen grund til at gemme en datatung billedfil, fordi den altid kan genskabes af det neurale feltnetværk.

Og, sagde Kamilov, er modellen ikke kun en nem at opbevare, sand repræsentation af cellen, men den er også på mange måder mere nyttig end den ægte vare.

"Jeg kan sætte en hvilken som helst koordinat ind og generere det synspunkt," sagde han. "Eller jeg kan generere helt nye synspunkter fra forskellige vinkler." Han kan bruge modellen til at dreje en celle som en top eller zoome ind for at se nærmere; bruge modellen til at udføre andre numeriske opgaver; eller endda føre det ind i en anden algoritme. + Udforsk yderligere

Hvordan deep learning-algoritmer skaber nøjagtige billeder uden et komplet datasæt