En ansigtsfølgende robotarm med følelsesregistrering

Forskere ved Universitat Autònoma de Barcelona (UAB) har for nylig udviklet en ansigtsfølgende robotarm med følelsesdetektion inspireret af Pixar Animation Studios' Luxo Jr.-lampe. Denne robot blev præsenteret af Vernon Stanley Albayeros Duarte, en datalogi kandidat ved UAB, i sit afsluttende speciale.

"Idéen bag vores robot er i høj grad baseret på Pixars Luxo Jr. lampeshorts, " Albayeros Duarte fortalte TechXplore. "Jeg ville bygge en robot, der efterlignede lampens adfærd i shortsene. Jeg er meget interesseret i maker-scenen og har 3D-printet i et par år, så jeg satte mig for at bygge et slags 'kæledyr' for at demonstrere nogle interessante menneske-maskine-interaktioner. Det er her, hele temaet 'ansigtsfølgning/følelsesdetektion' kommer fra, da det viste sig meget svært at få lampen til at hoppe rundt som dem i Pixar-shortsene, men beholdt stadig 'kæledyr-legetøj'-følelsen om projektet."

Da denne undersøgelse var en del af Albayeros Duartes kurser, han skulle opfylde visse krav opstillet af UAB. For eksempel, hovedformålet med specialet var, at de studerende skulle lære om Googles cloud-tjenester, og hvordan disse kan bruges til at aflaste computerressourcer i projekter, der ikke er beregningsmæssigt stærke for dem.

Raspberry Pi er en lillebitte og overkommelig computer, som har væsentlige beregningsmæssige begrænsninger. Disse begrænsninger gør det til den perfekte kandidat til at udforske brugen af ​​Googles cloud-platform til beregningsintensive opgaver, såsom følelsesregistrering.

Albayeros Duarte besluttede sig derfor for at bruge en Raspberry Pi til at udvikle en lille robot med følelsesdetektering. Hans robots hovedkrop er LittleArm 2C, en robotarm skabt af Slant Concepts grundlægger, Gabe Bentz.

"Jeg kontaktede Slant Concepts for at bede om tilladelse til at ændre deres robotarm, så den kunne holde et kamera for enden, så oprettede jeg elektronikkabinettet og baserede mig selv, " sagde Albayeros Duarte.

Robotten designet af Albayeros Duarte 'fejer' et kamera fra venstre mod højre, tage et billede og bruge OpenCV, et bibliotek af programmeringsfunktioner, der ofte bruges til computervisionsapplikationer, at registrere et ansigt inden for dets ramme. Når robotten når enden af ​​hver side, den hæver eller sænker kameraet et par grader og genoptager sin fejende bevægelse.

"Når den finder et ansigt, robotten stopper den fejende bevægelse og kontrollerer, om ansigtet forbliver inden for synsfeltet i mere end en håndfuld billeder, " Albayeros Duarte forklarede. "Dette sikrer, at det ikke 'leger' med falske positiver i ansigtsgenkendelse. Hvis robotten bekræfter, at den faktisk har fundet et ansigt, den skifter til "ansigtsfølgende" del af algoritmen, hvor den forsøger at holde ansigtet centreret inden for dets synsfelt. At gøre dette, den panorerer og vipper i overensstemmelse med bevægelserne hos den person, den observerer."

Mens robotten følger personens bevægelser i dens synsfelt, den tager et billede af deres ansigt og sender det til Googles Cloud Vision API. Googles platform analyserer efterfølgende billedet og registrerer den aktuelle følelsesmæssige tilstand hos personen på det, klassificere det som en af ​​5 følelsesmæssige tilstande:glæde, vrede, sorg, overraskelse eller neutral.

"Når robotten modtager resultaterne af denne analyse, det efterligner hvilken følelsesmæssig tilstand brugeren er i, " sagde Albayeros Duarte. "Af glæde hopper den lidt rundt, for vrede giver den et lille hovedryst i misbilligelse, for sorg falder den ned til jorden og ser op til dig, og til overraskelse bevæger den sig baglæns. Robotten har også en LED-ring, der kan klare hele RGB-farveskalaen, som den bruger til at supplere disse handlinger."

Afhængigt af den følelse, den registrerer, robottens 'fejende adfærd' ændres. Hvis den registrerer glæde, fejer den lidt hurtigere, for vrede bevæger den sig så hurtigt som muligt (uden at kompromittere kvaliteten af ​​dens ansigtsgenkendelse), af sorg fejer den i en nedadgående eller 'hængende' stilling og til overraskelse ryster den tilfældigt, mens den fejer. I hver af disse 'tilstande', robotten blinker forskellige farver på sin RGB LED-ring:gule og varme farver til glæde, lys rød for vrede, blå og kolde farver til sorg og en blanding af gul og grøn til overraskelse.

"Jeg tror på, at der er et enormt uudnyttet potentiale for 'kæledyrslignende' robotter, " sagde Albayeros Duarte. "Fra at gøre personlige assistenter som Amazons Alexa og Google Assistant mere interaktive og naturlige, at potentielt hjælpe handicappede med at blive mere selvhjulpne gennem deres hjælp, at have en robot, der reagerer på din nuværende følelsesmæssige tilstand, kan have en enorm indflydelse på opfattelsen af ​​disse enheder. For eksempel, en assistent for ældre mennesker, der er i stand til at genkende følelsesmæssig nød, kunne udsende tidlige advarsler, hvis de skulle få brug for sanitetshjælp, mens en robot, der bruges til at hjælpe med at udvikle motoriske færdigheder hos bevægelseshæmmede børn, kunne opdage, om barnet mister interessen eller bliver mere engageret i en aktivitet og tilpasse dets sværhedsgrad i overensstemmelse hermed."

Ud over at være et glimrende eksempel på, hvordan Googles cloud-platform kan bruges til at aflaste beregningsressourcer, Albayeros Duartes projekt giver et sæt modeller til 3D-print, der kan bruges til at reproducere hans robot eller lave tilpasninger af den, sammen med styklisten over nødvendige materialer. I øjeblikket, forskeren samarbejder også med Fernando Vilariño, Associate Director ved Computer Vision Center (CVC) og formand for European Network of Living Labs (ENoLL), på et projekt, der har til formål at inspirere yngre generationer til at tage en karriere inden for STEM, samt om at opbygge det fysiske computerfællesskab på UAB, målrettet alle interesserede i at skabe deres egne projekter.

"Vi har været til Barcelonas Youth Mobile Festival, en ungdomsorienteret Mobile World Congress (MWC) arrangeret af de samme mennesker som MWC, " sagde Albayeros Duarte. "At dyppe vores tæer i interaktive robotter som denne er en god måde at både bygge noget, der øjeblikkeligt fanger skolegruppernes opmærksomhed ved disse begivenheder og lærer os mere om robotter på forbrugerniveau, i modsætning til robotteknologi på industrielt niveau."

© 2019 Science X Network