Forskere udvikler computersynsramme til at spore dyr i naturen uden markører

Forskere fra Cluster of Excellence Collective Behavior har udviklet en computervisionsramme til estimering af kropsholdning og identitetssporing, som de kan bruge i indendørs miljøer såvel som i naturen. Dette er et vigtigt skridt mod markørfri sporing af dyr i naturen ved hjælp af computersyn og maskinlæring.

To duer hakker korn i en park i Konstanz. En tredje due flyver ind. Der er fire kameraer i umiddelbar nærhed. Ph.d.-studerende Alex Chan og Urs Waldmann fra Cluster of Excellence Collective Behavior ved University of Konstanz filmer scenen. Efter en time vender de tilbage med optagelserne til deres kontor for at analysere dem med en computervisionsramme til estimering af kropsholdning og identitetssporing.

Rammen registrerer og tegner en kasse rundt om alle duer. Den registrerer centrale kropsdele og bestemmer deres kropsholdning, deres position og deres interaktion med de andre duer omkring dem. Alt dette sker uden at der er sat markører på duer eller behov for et menneske tilkaldt for at hjælpe. Dette ville ikke have været muligt for blot et par år siden.

3D-MuPPET-ramme

Markørløse metoder til sporing af dyrs holdning har været i rivende udvikling på det seneste, men rammer og benchmarks til sporing af store dyregrupper i 3D mangler stadig. For at overvinde dette hul præsenterer forsker Urs Waldmann fra Cluster of Excellence Collective Behavior ved University of Konstanz og Alex Chan fra Max Planck Institute of Animal Behavior og deres kolleger 3D-MuPPET, en ramme til at estimere og spore 3D-positurer på op til 10 duer med interaktiv hastighed ved hjælp af flere kameravisninger.

Forskningen blev for nylig offentliggjort i International Journal of Computer Vision .

3D-MuPPET, som står for 3D Multi-Pigeon Pose Estimation and Tracking, er en computervisionsramme til estimering af kropsholdning og identitetssporing for op til 10 individuelle duer fra fire kameravisninger, baseret på data indsamlet både i fangede miljøer og endda i vilde.

"Vi trænede en 2D nøglepunktsdetektor og triangulerede punkter til 3D og viser også, at modeller trænet på enkeltduedata fungerer godt med multiduedata," forklarer Waldmann. Dette er et første eksempel på 3D-dyrs holdningssporing for en hel gruppe på op til 10 individer.

Den nye ramme giver således en konkret metode for biologer til at lave eksperimenter og måle dyrenes kropsholdning til automatisk adfærdsanalyse. "Denne ramme er en vigtig milepæl inden for sporing af dyrs kropsholdning og automatisk adfærdsanalyse," siger Chan.

Framework kan bruges i naturen

Udover at spore duer indendørs, udvides rammerne også til duer i naturen. "Ved at bruge en model, der kan identificere omridset af ethvert objekt i et billede kaldet Segment Anything Model, trænede vi yderligere en 2D-nøglepunktsdetektor med en maskeret due fra de fangede data, og anvendte derefter modellen på duevideoer udendørs uden nogen ekstra modelfinjustering ", fastslår Chan.

3D-MuPPET præsenterer et af de første case-studier om, hvordan man går fra at spore dyr i fangenskab til at spore dyr i naturen, hvilket gør det muligt at måle finskaleret adfærd hos dyr i deres naturlige habitater. De udviklede metoder kan potentielt anvendes på tværs af andre arter i fremtidigt arbejde, med potentiel anvendelse til storstilet kollektiv adfærdsforskning og artsovervågning på en ikke-invasiv måde.

3D-MuPPET viser en kraftfuld og fleksibel ramme for forskere, der gerne vil bruge 3D-stillingsrekonstruktion for flere individer til at studere kollektiv adfærd i ethvert miljø eller art. Så længe en multikamera-opsætning og en 2D-stillingsvurdering er tilgængelig, kan rammen anvendes til at spore 3D-stillinger for ethvert dyr.

Flere oplysninger: Urs Waldmann et al., 3D-MuPPET:3D Multi-Pigeon Pose Estimation and Tracking, International Journal of Computer Vision (2024). DOI:10.1007/s11263-024-02074-y

Leveret af University of Konstanz