En integreret visuel og semantisk neural netværksmodel forklarer menneskelig genkendelse af objekter i hjernen

Neurovidenskabsforskere ved University of Cambridge har kombineret computersyn med semantik, udvikle en ny model, der kunne hjælpe til bedre at forstå, hvordan genstande behandles i hjernen.

Den menneskelige evne til at genkende objekter involverer to hovedprocesser, en hurtig visuel analyse af objektet og aktivering af semantisk viden erhvervet gennem hele livet. De fleste tidligere undersøgelser har undersøgt disse to processer hver for sig; derfor, deres interaktion forbliver stort set uklar.

Holdet af Cambridge-baserede forskere har undersøgt objektgenkendelsesprocesser ved hjælp af en ny metode, der kombinerer dybe neurale netværk med en tiltrækningsnetværksmodel af semantik. I modsætning til de fleste tidligere undersøgelser, deres teknik står for både visuel information og konceptuel viden om objekter.

"Vi havde tidligere udført en masse forskning med raske mennesker og hjerneskadede patienter for bedre at forstå, hvordan genstande behandles i hjernen, " fortalte Cambridge-forskerne Tech Xplore . "Et af de vigtigste bidrag fra dette arbejde er at vise, at forståelsen af, hvad et objekt er, involverer det visuelle input, der hurtigt transformeres over tid til en meningsfuld repræsentation, og denne transformative proces udføres langs længden af ​​den ventrale temporallap."

Forskerne er overbevist om, at adgang til den semantiske hukommelse er en vigtig del af forståelsen af, hvad et objekt er, så teorier, der kun fokuserer på synsrelaterede egenskaber, fanger ikke fuldt ud denne komplekse proces.

"Dette var den første trigger for den nuværende forskning, hvor vi ønskede at forstå fuldt ud, hvordan visuelle input på lavt niveau er afbildet på en semantisk repræsentation af objektets betydning, " forklarede forskerne. For at gøre dette, de brugte et standard dybt neuralt netværk specialiseret i computersyn, kaldet AlexNet.

"Denne model, og andre kan lide det, kan identificere objekter i billeder med meget høj nøjagtighed, men de omfatter ikke nogen eksplicit viden om objekters semantiske egenskaber, " forklarede de. "F.eks. bananer og kiwier er meget forskellige i deres udseende (forskellig farve, form, struktur, osv.), men ikke desto mindre vi forstår rigtigt, at de begge er frugter. Modeller af computersyn kan skelne mellem bananer og kiwier, men de koder ikke for den mere abstrakte viden om, at begge dele er frugter."

At anerkende begrænsningerne af neurale netværk til computersyn, forskerne kombinerede AlexNet-visionsalgoritmen med et neuralt netværk, der analyserer begrebsmæssig betydning, inkludere semantisk viden i ligningen.

"I den kombinerede model, visuel bearbejdning kortlægger sig på semantisk bearbejdning og aktiverer vores semantiske viden om begreber, " sagde forskerne.

Deres nye teknik blev testet på neuroimaging data fra 16 frivillige, som var blevet bedt om at navngive billeder af genstande, da de skulle til en fMRI-scanning. Sammenlignet med traditionelle dybe neurale netværk (DNN) modeller af syn, den nye metode var i stand til at identificere hjerneområder forbundet med både visuel og semantisk behandling.

"Det mest kritiske fund af undersøgelsen var, at hjerneaktivitet under genkendelse af objekter er bedre modelleret ved at tage hensyn til både visuelle og semantiske egenskaber ved objekter, og dette kan fanges gennem en beregningsmodelleringstilgang, " forklarede forskerne.

Metoden, de udtænkte, lavede forudsigelser om stadierne af semantisk aktivering i hjernen, som er i overensstemmelse med tidligere beretninger om objektbehandling, hvor mere grovkornet semantisk bearbejdning viger for mere finkornet bearbejdning. Forskerne fandt også ud af, at forskellige stadier af modellen forudsagde aktivering i forskellige områder af hjernens objektbehandlingsvej.

"Ultimativt, bedre modeller for, hvordan mennesker behandler visuelle objekter meningsfuldt, kan have praktiske kliniske implikationer; for eksempel, i at forstå tilstande som semantisk demens, hvor mennesker mister deres viden om betydningen af ​​objektbegreber, " sagde forskerne.

Undersøgelsen udført i Cambridge er et vigtigt bidrag til området neurovidenskab, da den viste, hvordan forskellige områder af hjernen bidrager til visuel og semantisk behandling af objekter.

"Det er nu vigtigt at undersøge, hvordan information i en region kan omdannes til en anden tilstand, som vi ser i forskellige regioner i hjernen, " tilføjede forskerne. "Til dette, vi skal forstå, hvordan tilslutning, og tidsmæssig dynamik understøtter disse transformative neurale processer."

Forskningen blev offentliggjort i Videnskabelige rapporter for nylig.

© 2018 Tech Xplore