Dyb indlæringsmetode til at designe fluelignende robotter

"Tænk bare på, hvad en flue kan gøre, " siger professor Pavan Ramdya, hvis laboratorium på EPFL's Brain Mind Institute, med laboratoriet af professor Pascal Fua i EPFL's Institute for Computer Science, ledet undersøgelsen. "En flue kan klatre over terræn, som en robot på hjul ikke ville være i stand til."

Fluer er ikke ligefrem kære for mennesker. Vi forbinder dem med rette med mindre end appetitlige oplevelser i vores daglige liv. Men der er en uventet vej til forløsning:Robotter. Det viser sig, at fluer har nogle funktioner og evner, der kan informere et nyt design til robotsystemer.

"I modsætning til de fleste hvirveldyr, fluer kan klatre op i næsten ethvert terræn, " siger Ramdya. "De kan klæbe til vægge og lofter, fordi de har klæbepuder og kløer på spidserne af deres ben. Dette giver dem mulighed for stort set at gå hvor som helst. Det er også interessant, for hvis du kan hvile på en hvilken som helst overflade, du kan styre dit energiforbrug ved at vente på det rigtige øjeblik til at handle."

Det var denne vision om at udvinde principperne, der styrer flueadfærd for at informere designet af robotter, der drev udviklingen af ​​DeepFly3D, et motion-capture system til fluen Drosophila melanogaster, en modelorganisme, der næsten allestedsnærværende bruges på tværs af biologi.

I Ramdyas eksperimentelle opsætning, en flue går oven på en lille, flydende bold – som et miniatureløbebånd – mens syv kameraer registrerer enhver bevægelse. Fluens overside er limet på en ubevægelig scene, så den altid bliver på plads, mens den går på bolden. Alligevel, fluen "tror", at den bevæger sig frit.

De indsamlede kamerabilleder behandles derefter af DeepFly3D, en deep-learning software udviklet af Semih Günel, en ph.d. studerende, der arbejder med både Ramdyas og Fuas laboratorier. "Dette er et fint eksempel på, hvor et tværfagligt samarbejde var nødvendigt og transformerende, " siger Ramdya. "Ved at udnytte datalogi og neurovidenskab, vi har taklet en langvarig udfordring."

Det specielle ved DeepFly3D er, at den kan udlede fluens 3D-positur – eller endda andre dyr – hvilket betyder, at den automatisk kan forudsige og foretage adfærdsmålinger med hidtil uset opløsning til en række biologiske anvendelser. Softwaren behøver ikke at blive kalibreret manuelt, og den bruger kamerabilleder til automatisk at detektere og rette eventuelle fejl, den laver i sine beregninger af fluens positur. Endelig, den bruger også aktiv læring til at forbedre sin egen præstation.

DeepFly3D åbner op for en måde at effektivt og præcist modellere bevægelserne, stillinger, og ledvinkler på en frugtflue i tre dimensioner. Dette kan inspirere til en standardmetode til automatisk at modellere 3D-positurer i andre organismer.

"Fluen, som modelorganisme, balancerer medgørlighed og kompleksitet meget godt, " siger Ramdya. "Hvis vi lærer, hvordan den gør, hvad den gør, vi kan have stor indflydelse på robotteknologi og medicin og, måske vigtigst, vi kan få denne indsigt på relativt kort tid."