Oversættelse af adfærdssproget med kunstigt intelligent motion capture

Du har måske set Hollywood -stjerner i dragter med "motion capture", skuespil i helkropsudstyr fyldt med sensorer, der lader en computer omdanne dem til en Hulk eller en drage eller et fortryllet dyr.

Nu, et samarbejde mellem laboratorierne fra Princeton -professorerne Mala Murthy og Joshua Shaevitz er gået et skridt videre, ved hjælp af de seneste fremskridt inden for kunstig intelligens (AI) til automatisk at spore dyrs individuelle kropsdele i eksisterende video.

Deres nye værktøj, LEAP Estimates Animal Pose (LEAP), kan trænes på få minutter til automatisk at spore et dyrs individuelle kropsdele over millioner af videorammer med høj nøjagtighed, uden at skulle tilføje fysiske markører eller etiketter.

"Metoden kan bruges bredt, på tværs af dyremodelsystemer og det vil være nyttigt at måle adfærd hos dyr med genetiske mutationer eller følge lægemiddelbehandlinger, "sagde Murthy, en lektor i molekylærbiologi og Princeton Neuroscience Institute (PNI).

Papiret med detaljer om den nye teknologi vil blive offentliggjort i januar 2019 -udgaven af ​​tidsskriftet Naturmetoder , men dens open-access version, frigivet i maj, har allerede ført til, at softwaren blev vedtaget af en række andre laboratorier.

Når forskerne kombinerer LEAP med andre kvantitative værktøjer udviklet i deres laboratorier, de kan studere det, de kalder "adfærdssproget" ved at observere mønstre i dyrs kropsbevægelser, sagde Shaevitz, en professor i fysik og Lewis-Sigler Institute for Integrative Genomics.

"Dette er et fleksibelt værktøj, der i princippet kan bruges på alle videodata, sagde Talmo Pereira, en PNI -kandidatstuderende, der er den første forfatter på papiret. "Den måde, det fungerer på, er at mærke et par punkter i et par videoer, og derefter gør det neurale netværk resten. Vi giver en brugervenlig grænseflade for alle at anvende LEAP på deres egne videoer, uden at have forudgående programmeringskendskab. "

På spørgsmålet om LEAP fungerede lige så godt på store pattedyr som på de fluer og mus, der udgjorde de fleste af de indledende forsøgspersoner, Pereira lavede straks en bevægelsesmærket video af en giraf taget fra live-feedet fra Mpala Research Center i Kenya, en feltforskningsstation, som Princeton er administrerende partner for.

"Vi tog en video af en gående giraf fra Mpala forskningsstation ... og markerede punkter i 30 videorammer, der tog mindre end en time, "Sagde Pereira." LEAP var derefter i stand til at spore bevægelse fra hele resten af ​​videoen (cirka 500 billeder) på sekunder. "

Tidligere bestræbelser på at udvikle AI -værktøjer, der kunne spore menneskelig bevægelse, har været afhængige af store træningssæt med manuelt kommenterede data. Det gjorde, at softwaren kunne arbejde robust på forskellige former for data, med vidt forskellige baggrunde eller lysforhold.

"I vores tilfælde, vi optimerede lignende metoder til at arbejde med data indsamlet i et laboratorium, hvor betingelserne er konsistente på tværs af optagelser, "sagde Murthy." Vi byggede et system, der giver brugeren mulighed for at vælge et neuralt netværk, der passer til den slags data, som brugeren indsamlede frem for at blive begrænset af, hvad andre forskere eller virksomheder har arbejdet med. "

Dette projekt opstod fra et unikt samarbejde mellem en senior specialestuderende i Murthy lab, Diego Aldarondo i klasse 2018, og hans kandidatstuderende mentor, Pereira, som i fællesskab rådes af Murthy og Shaevitz.

"Diego undersøgte brugen af ​​dybe neurale netværk til annotering af dyrs adfærdsmæssige data via en af ​​hans datalogi -klasser i Princeton, og over sent-nat-chats i laboratoriet med Talmo, han indså, at disse metoder kraftigt kunne anvendes på deres egne data:videoer af frugtfluer, der interagerede under deres frieritual, "sagde Murthy." Samarbejdet tog fart derfra, og det var utroligt sjovt at arbejde sammen - Diego og Talmo viste, hvor effektive disse AI -metoder kan være. "

Værket har også et stort potentiale uden for neurovidenskaben, sagde Monica Daley, en lektor ved Structure and Motion Laboratory ved Royal Veterinary College i Det Forenede Kongerige, som ikke var involveret i denne undersøgelse.

"Meget af min forskning har til formål at forstå, hvordan dyr bevæger sig effektivt under forskellige terræn- og miljøforhold, "Sagde Daley." En af de største igangværende udfordringer på området er at hente meningsfuld information om dyrs bevægelse fra videomateriale. Vi behandler enten videoer manuelt, kræver mange timers kedeligt arbejde, eller fokus på meget forenklet og begrænset analyse, der kan automatiseres. Algoritmerne præsenteret i dette papir har potentiale til at automatisere den arbejdskrævende del af vores arbejde mere end tidligere har været muligt, som kunne give os mulighed for at studere en større variation af dyrs bevægelsesadfærd. "

Når de har en database over bevægelse og adfærd, neurovidenskabsfolk på teamet kan trække forbindelser til de neurale processer bag dem. Dette vil gøre det muligt for forskere "ikke kun at få en bedre forståelse af, hvordan hjernen producerer adfærd, "sagde Shaevitz, "men også for at undersøge fremtidig diagnostik og terapier, der er afhængige af, at en computer fortolker en persons handlinger."

Et lignende værktøj blev delt i løbet af sommeren af ​​et team af Harvard -forskere, der brugte eksisterende neuralt netværksarkitektur, hvorimod Princeton -teamet skabte deres eget. "Vores metode og deres har forskellige fordele, "sagde Murthy." Dette er et utroligt spændende felt lige nu med stor aktivitet i udvikling af AI -værktøjer til undersøgelser af adfærd og neural aktivitet. "

"Vi bruger en anden tilgang, hvor mindre, slankere netværk kan opnå høj nøjagtighed ved hurtigt at specialisere sig i nye datasæt, "sagde Pereira." Endnu vigtigere, vi viser, at der nu er let at bruge muligheder for sporing af dyrestillinger via AI, og vi håber, at dette tilskynder feltet til at begynde at anvende mere kvantitative og præcise metoder til måling af adfærd. "

"I de sidste fem år har neurovidenskab har gjort enorme fremskridt i teknologien til at observere og manipulere hjerneaktivitet, "sagde medforfatter Samuel Wang, professor i molekylærbiologi og PNI. "Nu, automatisk klassificering af adfærd tilføjer et kritisk supplement til den teknologi. Princeton er ved at blive et centralt knudepunkt inden for det spirende område inden for beregningsneuroetologi. "