Synergi fremkomst i dyb forstærkende motorisk læring

Menneskelig motorisk kontrol har altid været effektiv til at udføre komplekse bevægelser naturligt, effektivt, og uden megen overvejelse involveret. Dette er på grund af eksistensen af ​​motorisk synergi i centralnervesystemet (CNS). Motorisk synergi gør det muligt for CNS at bruge et mindre sæt af variabler til at kontrollere en stor gruppe af muskler; derved forenkles kontrollen over koordinerede og komplekse bevægelser.

Nu, forskere ved Tohoku University har observeret et lignende koncept i robotagenter ved hjælp af deep reinforcement learning (DRL) algoritmer.

DRL giver robotagenter mulighed for at lære den bedst mulige handling i deres virtuelle miljø. Det gør det muligt at løse komplekse robotopgaver, samtidig med at manuelle operationer minimeres og maksimal ydeevne opnås. Klassiske algoritmer, på den anden side, kræver manuel indgriben for at finde specifikke løsninger for hver ny opgave, der dukker op.

Imidlertid, at anvende motorisk synergi fra den menneskelige verden til robotverdenen er ingen lille opgave. Selvom mange undersøgelser understøtter anvendelsen af ​​motorisk synergi i menneskers og dyrs motoriske kontrol, baggrundsprocessen er stadig stort set ukendt.

I den aktuelle undersøgelse, forskere fra Tohoku University brugte to DRL-algoritmer på gående robotmidler kendt som HalfCheetah og FullCheetah. De to algoritmer var TD3, en klassisk DRL, og SAC, en højtydende DRL.

De to robotagenter fik til opgave at løbe så langt frem som muligt inden for en given tid. I alt, robotagenterne gennemførte 3 millioner trin. Synergioplysninger blev ikke brugt i forhold til DRL'erne, men robotmidlerne demonstrerede fremkomsten af ​​motorisk synergi gennem deres bevægelser.

Mitsuhiro Hayashibe, Tohoku University professor og medforfatter af undersøgelsen, noter, "Vi bekræftede først på en kvantitativ måde, at motorisk synergi kan opstå selv i dyb læring, som mennesker gør." Professor Hayashibe tilføjer, "Efter at have brugt dyb læring, robotagenterne forbedrede deres motoriske ydeevne, mens de begrænsede energiforbruget ved at anvende motorisk synergi."

Fremadrettet, forskerne sigter mod at udforske flere opgaver med forskellige kropsmodeller for yderligere at bekræfte deres resultater.