Afkodning af hundekognition:Maskinlæring giver et glimt af, hvordan en hunds hjerne repræsenterer, hvad den ser

Forskere har afkodet visuelle billeder fra en hunds hjerne og giver et første kig på, hvordan hundens sind rekonstruerer det, det ser. Journal of Visualized Experimenter offentliggjort forskningen udført på Emory University.

Resultaterne tyder på, at hunde er mere indstillet på handlinger i deres miljø frem for hvem eller hvad der udfører handlingen.

Forskerne optog fMRI neurale data for to vågne, uhæmmede hunde, mens de så videoer i tre 30-minutters sessioner i i alt 90 minutter. De brugte derefter en maskinlæringsalgoritme til at analysere mønstrene i de neurale data.

"Vi viste, at vi kan overvåge aktiviteten i en hunds hjerne, mens den ser en video, og i det mindste i begrænset omfang rekonstruere, hvad den ser på," siger Gregory Berns, Emory-professor i psykologi og tilsvarende forfatter til papiret. . "Det faktum, at vi er i stand til at gøre det, er bemærkelsesværdigt."

Projektet var inspireret af de seneste fremskridt inden for maskinlæring og fMRI for at afkode visuelle stimuli fra den menneskelige hjerne, hvilket giver ny indsigt i perceptionens natur. Ud over mennesker er teknikken kun blevet anvendt på en håndfuld andre arter, inklusive nogle primater.

"Mens vores arbejde er baseret på kun to hunde, giver det et bevis på konceptet, at disse metoder virker på hunde," siger Erin Phillips, førsteforfatter af papiret, der udførte arbejdet som forskningsspecialist i Berns' Canine Cognitive Neuroscience Lab. "Jeg håber, at dette papir hjælper med at bane vejen for, at andre forskere kan anvende disse metoder på hunde såvel som på andre arter, så vi kan få flere data og større indsigt i, hvordan forskellige dyrs sind fungerer."

Phillips, der er indfødt i Skotland, kom til Emory som Bobby Jones Scholar, et udvekslingsprogram mellem Emory og University of St. Andrews. Hun er i øjeblikket kandidatstuderende i økologi og evolutionsbiologi ved Princeton University.

Berns og kolleger var banebrydende for træningsteknikker til at få hunde til at gå ind i en fMRI-scanner og holde sig helt stille og uhæmmet, mens deres neurale aktivitet måles. For et årti siden offentliggjorde hans hold de første fMRI-hjernebilleder af en helt vågen, uhæmmet hund. Det åbnede døren til, hvad Berns kalder The Dog Project – en række eksperimenter, der udforsker sindet hos de ældste domesticerede arter.

I årenes løb har hans laboratorium offentliggjort forskning i, hvordan hundehjernen behandler syn, ord, lugte og belønninger såsom at modtage ros eller mad.

I mellemtiden blev teknologien bag maskinlæringscomputeralgoritmer ved med at blive bedre. Teknologien har gjort det muligt for forskere at afkode nogle menneskelige hjerneaktivitetsmønstre. Teknologien "læser tanker" ved at detektere i hjernedatamønstre de forskellige objekter eller handlinger, som en person ser, mens han ser en video.

"Jeg begyndte at spekulere på, 'Kan vi anvende lignende teknikker til hunde?'" husker Berns.

Den første udfordring var at komme med videoindhold, som en hund kunne finde interessant nok til at se i en længere periode. Emory-forskerholdet satte en videooptager på en kardan og selfie-pind, der gjorde det muligt for dem at optage stabile optagelser fra en hunds perspektiv, omtrent i taljehøjde til et menneske eller en lille smule lavere.

De brugte enheden til at lave en halv times video af scener, der relaterer sig til de fleste hundes liv. Aktiviteterne omfattede, at hunde blev kælet af mennesker og modtog godbidder fra mennesker. Scener med hunde viste dem også snuse, lege, spise eller gå i snor. Aktivitetsscener viste biler, cykler eller en scooter, der kørte forbi på en vej; en kat, der går i et hus; et rådyr krydser en sti; mennesker, der sidder; mennesker, der krammer eller kysser; folk, der tilbyder en gummiknogle eller en bold til kameraet; og folk der spiser.

Videodataene blev segmenteret efter tidsstempler i forskellige klassifikatorer, herunder objektbaserede klassifikationer (såsom hund, bil, menneske, kat) og handlingsbaserede klassifikatorer (såsom at snuse, lege eller spise).

Kun to af de hunde, der var blevet trænet til eksperimenter i en fMRI, havde fokus og temperament til at ligge helt stille og se den 30 minutter lange video uden pause, inklusive tre sessioner i i alt 90 minutter. Disse to "superstjerne"-hjørner var Daisy, en blandingsrace, der muligvis er en del af Boston terrier, og Bhubo, en blandingsrace, der muligvis er delvis bokser.

"De havde ikke engang brug for godbidder," siger Phillips, som overvågede dyrene under fMRI-sessionerne og så deres øjne spore på videoen. "Det var morsomt, fordi det er seriøs videnskab, og der blev brugt en masse tid og kræfter på det, men det kom ned til, at disse hunde så videoer af andre hunde og mennesker, der opførte sig lidt fjollet."

To mennesker gennemgik også det samme eksperiment og så den samme 30-minutters video i tre separate sessioner, mens de lå i en fMRI.

Hjernedataene kunne kortlægges på videoklassifikatorerne ved hjælp af tidsstempler.

En maskinlæringsalgoritme, et neuralt net kendt som Ivis, blev anvendt på dataene. Et neuralt net er en metode til at lave maskinlæring ved at lade en computer analysere træningseksempler. I dette tilfælde blev det neurale net trænet til at klassificere hjernedataindholdet.

Resultaterne for de to menneskelige forsøgspersoner fandt, at modellen udviklet ved hjælp af det neurale net viste 99 % nøjagtighed ved kortlægning af hjernedata på både objekt- og handlingsbaserede klassifikatorer.

I tilfælde af afkodning af videoindhold fra hundene virkede modellen ikke for objektklassifikatoren. Det var dog 75 % til 88 % nøjagtigt ved afkodning af handlingsklassifikationerne for hundene.

Resultaterne tyder på store forskelle i, hvordan hjernen hos mennesker og hunde fungerer.

"Vi mennesker er meget objektorienterede," siger Berns. "Der er 10 gange så mange navneord, som der er verber i det engelske sprog, fordi vi har en særlig besættelse af at navngive objekter. Hunde ser ud til at være mindre bekymrede over, hvem eller hvad de ser og mere optaget af selve handlingen."

Hunde og mennesker har også store forskelle i deres visuelle systemer, bemærker Berns. Hunde ser kun i blå og gule nuancer, men har en lidt højere tæthed af synsreceptorer designet til at registrere bevægelse.

"Det giver perfekt mening, at hundes hjerner først og fremmest vil være meget tilpasset handlinger," siger han. "Dyr skal være meget bekymrede over ting, der sker i deres miljø for at undgå at blive spist eller for at overvåge dyr, de måske vil jage. Handling og bevægelse er altafgørende."

For Philips er det vigtigt at forstå, hvordan forskellige dyr opfatter verden, for hendes nuværende feltforskning i, hvordan genindførelse af rovdyr i Mozambique kan påvirke økosystemer. "Historisk set har der ikke været meget overlap i datalogi og økologi," siger hun. "Men maskinlæring er et voksende felt, der begynder at finde bredere anvendelser, herunder i økologi."

Yderligere forfattere af papiret omfatter Daniel Dilks, Emory-lektor i psykologi, og Kirsten Gillette, som arbejdede på projektet som Emory-studerende neurovidenskab og adfærdsbiologi som hovedfag. Gilette er siden dimitteret og er nu i en postbaccalaureate-uddannelse ved University of North Carolina.

Daisy ejes af Rebecca Beasley og Bhubo ejes af Ashwin Sakhardande. + Udforsk yderligere

En hunds dilemma:Foretrækker hunde ros eller mad?