En ramme for dyb læring til at forbedre mulighederne for en robotskitseagent

I de senere år har deep learning-algoritmer opnået bemærkelsesværdige resultater på en række forskellige områder, herunder kunstneriske discipliner. Faktisk har mange dataloger verden over med succes udviklet modeller, der kan skabe kunstneriske værker, herunder digte, malerier og skitser.

Forskere ved Seoul National University har for nylig introduceret en ny kunstnerisk deep learning-ramme, som er designet til at forbedre en skitserobots færdigheder. Deres ramme, introduceret i et papir præsenteret på ICRA 2022 og præ-publiceret på arXiv, gør det muligt for en skitserobot at lære både slagbaseret gengivelse og motorisk kontrol samtidigt.

"Den primære motivation for vores forskning var at lave noget cool med ikke-regelbaserede mekanismer såsom dyb læring; vi syntes, at tegning er en cool ting at vise, om tegnekunstneren er en lærd robot i stedet for et menneske," Ganghun Lee, den første forfatter af papiret, fortalte TechXplore. "Seneste deep learning-teknikker har vist forbløffende resultater på det kunstneriske område, men de fleste af dem handler om generative modeller, som giver hele pixel-resultater på én gang."

I stedet for at udvikle en generativ model, der producerer kunstneriske værker ved at generere specifikke pixelmønstre, skabte Lee og hans kolleger en ramme, der repræsenterer tegning som en sekventiel beslutningsproces. Denne sekventielle proces ligner den måde, hvorpå mennesker ville tegne individuelle linjer ved hjælp af en pen eller blyant for gradvist at skabe en skitse.

Forskerne håbede derefter at anvende deres rammeværk på et robotskitsemiddel, så det kunne producere skitser i realtid ved hjælp af en rigtig pen eller blyant. Mens andre teams skabte dyb læringsalgoritmer for "robotkunstnere" tidligere, krævede disse modeller typisk store træningsdatasæt indeholdende skitser og tegninger samt omvendt kinematisk tilgang til at lære robotten at manipulere en pen og skitsere med den.

Rammerne skabt af Lee og hans kolleger var på den anden side ikke trænet i nogen virkelige tegneeksempler. I stedet kan den selvstændigt udvikle sine egne tegnestrategier over tid gennem en proces med forsøg og fejl.

"Vores framework bruger heller ikke omvendt kinematik, som gør robotbevægelser lidt strenge, i stedet lader det systemet også finde sine egne bevægelsestricks (justering af fælles værdier) for at gøre bevægelsesstilen så naturlig som muligt," sagde Lee. "Med andre ord flytter den sine led direkte uden primitiver, mens mange robotsystemer almindeligvis bruger primitiver til at bevæge sig."

Modellen skabt af dette team af forskere omfatter to "virtuelle agenter", nemlig overklassen og underklassens agent. Overklasseagentens rolle er at lære nye tegnetricks, mens underklassens agent lærer effektive bevægelsesstrategier.

De to virtuelle agenter blev trænet individuelt ved hjælp af forstærkningslæringsteknikker og blev først koblet sammen, når de havde afsluttet deres respektive uddannelse. Lee og hans kolleger testede derefter deres kombinerede ydeevne i en række eksperimenter i den virkelige verden ved hjælp af en 6-DoF robotarm med en 2D-griber på. Resultaterne opnået i disse indledende tests var meget opmuntrende, da algoritmen tillod robotagenten at producere gode skitser af specifikke billeder.

"Vi finder ud af, at de forstærkende læringsbaserede moduler, der er trænet til hvert mål, kan fusioneres for at opnå større samarbejdsmål," forklarede Lee. "I en hierarkisk indstilling kan beslutninger fra den øvre agent være 'mellemtilstanden', som gør det muligt for den lavere agent at observere for at træffe lavere beslutninger. Hvis hver agent af niveauer er veluddannet og generaliseret nok til hvert tilstandsrum, så hele systemet lavet af hvert modul kan gøre store ting. Men den primære betingelse er, at da alle forstærkende læringstilgange har det, bør belønningsfunktioner for hver agent være velformede (det er ikke let)."

I fremtiden vil den ramme, som Lee og hans kolleger har skabt, kunne bruges til at forbedre ydeevnen af ​​både eksisterende og nyudviklede robotskitsemidler. I mellemtiden er Lee ved at udvikle lignende kreative forstærkende læringsbaserede modeller, herunder et system, der kan producere kunstneriske collager.

"Vi vil også gerne udvide opgaven til mere komplicerede robottegninger såsom malerier, men jeg fokuserer nu mere på de praktiske spørgsmål i selve forstærkningslæringsapplikationerne end robottegningerne," tilføjede Lee. "Jeg håber, at vores papir bliver et sjovt og meningsfuldt eksempel på ren forstærkningslæringsbaseret applikation, specielt udstyret med robotter." + Udforsk yderligere

En forstærkende læringsramme til at forbedre fodboldskydefærdighederne hos firbenede robotter

© 2022 Science X Network