En forstærkende læringsramme til at forbedre fodboldskydningsfærdighederne hos firbenede robotter

Forskerne University of California, Berkeley (UC Berkeley), Université de Montréal og Mila har for nylig udviklet en hierarkisk forstærkende læringsramme for at forbedre præcisionen af ​​firbenede robotter i fodboldskydning. Denne ramme, der blev introduceret i et papir, der var forududgivet på arXiv, blev implementeret på en Unitree A1, en firedobet robot udviklet af UnitreeRobotics.

"Menneskelige ben er ikke kun til bevægelse, men kan også bruges til manipulation som at spille fodbold, og vi ønsker at gøre det muligt for firbenede robotter også at opnå denne evne," sagde Zhongyu Li, en af ​​forskerne, der udførte undersøgelsen, til TechXplore. "Der er en bemærkelsesværdig liga i robotsamfundet kaldet 'RoboCup' (Robot World Cup), som har inviteret forskere til at træne deres robotter til at spille fodbold i årtier."

Nylige fremskridt har gjort det muligt at skabe mere pålidelig hardware og avancerede kontrolalgoritmer til robotter. Som et resultat er robotter nu mere adrætte og kan potentielt tackle mere komplekse opgaver, herunder at spille fodbold sammen med mennesker. Rammerne udviklet af Li og hans kolleger kan hjælpe med at forbedre firdobbelte robotters evne til at skyde bolden under fodboldkampe.

Den nye ramme har to nøglekomponenter:en bevægelseskontrolpolitik og en bevægelsesplanlægningspolitik. Bevægelseskontrolkomponenten gør det muligt for robotten at spore en vilkårlig bane for tåen på dens sparkende ben. Bevægelsesplanlægningspolitikken vælger på den anden side en optimal tåbane til at skyde en fodbold i nærheden (opdaget af et eksternt kamera) til en målplacering (f.eks. målstolpen).

"Vores design giver os mulighed for at afkoble udfordringen med den præcise fodboldskydeopgave i de to underopgaver:kontrol og planlægning," sagde Li. "Vi kan først fokusere på at træne en robust kontrolpolitik, der kan fungere på hardwaren, og derefter genbruge sådan en controller til at lære planlægningsstrategien. For præcist at skyde bolden til mål i den virkelige verden, trænes planlæggeren ved at bruge den rigtige -verdensdata, når robotten skyder den rigtige fodbold."

Li og hans kolleger testede deres rammer i en række tests i den virkelige verden ved hjælp af en A1 firedobet robot. De fandt ud af, at det tillod robotten at skyde en deformerbar fodbold til tilfældige mål med høj præcision. Dette er en meget kompleks opgave at tackle, da robotten skal svinge sit sparkende ben hurtigt og få momentum uden at miste balancen.

"Fodbolden introducerer flere udfordringer, fordi robotten ikke kun skal håndtere den bløde kontakt med den deformerbare bold, der er svær at modellere, men også usikkerheden ved den rullende friktion mellem bolden og jorden," sagde Li. "Den metodologi, vi udviklede til at løse sådanne problemer, kunne potentielt være nyttig til de opgaver, hvor dynamiske robotter, såsom robotter med ben, skal interagere med bløde genstande, såsom bold, reb, snor, tøj osv."

I fremtiden kan den ramme, der er skabt af dette team af forskere, bruges til at forbedre ydeevnen af ​​robotter i fodboldturneringer, især Robocup. I mellemtiden planlægger Li og hans kolleger at udtænke andre rammer og maskinlæringsmodeller for at forbedre ydeevnen af ​​robotter i andre elementer af fodbold.

"Vores langsigtede mål er at udvikle firbenede robotfodboldspillere, der en dag kan konkurrere med mennesker," tilføjede Li. "Vi udvikler mere komplekse fodboldfærdigheder ved hjælp af firbenede robotter, og forhåbentlig kan vi i den nærmeste fremtid starte et fuldt autonomt fodboldspil ved hjælp af firbenede robotter." + Udforsk yderligere

En Q-learning-algoritme til at generere skud til gående robotter i fodboldsimuleringer

© 2022 Science X Network