Forskere underviser robotter i håndskrift og tegning

En algoritme udviklet af Brown University computervidenskabsfolk gør det muligt for robotter at sætte pen på papir, skrive ord ved hjælp af stregmønstre, der ligner menneskelig håndskrift. Det er et skridt, siger forskerne, mod robotter, der er i stand til at kommunikere mere flydende med menneskelige kolleger og samarbejdspartnere.

"Bare ved at se på et målbillede af et ord eller en skitse, robotten kan gengive hvert slag som en kontinuerlig handling, "sagde Atsunobu Kotani, en bachelorstuderende på Brown, der ledede algoritmens udvikling. "Det gør det svært for folk at skelne mellem, om det er skrevet af robotten eller faktisk skrevet af et menneske."

Algoritmen gør brug af dybe læringsnetværk, der analyserer billeder af håndskrevne ord eller skitser og kan udlede den sandsynlige række pennestrøg, der skabte dem. Robotten kan derefter gengive ordene eller skitserne ved hjælp af de pennestrøg, den lærte. I et papir, der skal præsenteres på denne måneds internationale konference om robotteknologi og automatisering, forskerne demonstrerer en robot, der var i stand til at skrive "hej" på 10 sprog, der anvender forskellige tegnsæt. Robotten var også i stand til at gengive grove skitser, herunder en af ​​Mona Lisa.

Stefanie Tellex, en adjunkt i datalogi ved Brown og Kotanis rådgiver, siger, at det, der gør dette arbejde unikt, er robotens evne til at lære slagordre fra bunden.

"Meget af det eksisterende arbejde på dette område kræver, at robotten på forhånd har oplysninger om slagordren, "Sagde Tellex." Hvis du ville have robotten til at skrive noget, nogen skulle programmere slagordren hver gang. Med hvad Atsu har gjort, du kan tegne, hvad du vil, og robotten kan gengive det. Det gør ikke altid den perfekte slagordre, men det kommer temmelig tæt på. "

Et andet bemærkelsesværdigt aspekt af arbejdet, Tellex siger, er, hvordan algoritmen var i stand til at generalisere sin evne til at gengive slagtilfælde. Kotani trænede sin deep learning -algoritme ved hjælp af et sæt japanske tegn, og viste, at det kunne gengive karaktererne og stregerne, der skabte dem med omkring 93 procent nøjagtighed. Men meget til forskernes overraskelse, algoritmen sluttede med at kunne gengive meget forskellige tegntyper, den aldrig havde set før - engelsk print og kursiv, for eksempel.

"Vi ville have været glade, hvis det kun havde lært de japanske tegn, "Tellex sagde." Men da det begyndte at arbejde på engelsk, vi var forbløffede. Derefter besluttede vi at se, hvor langt vi kunne tage det. "

Tellex og Kotani bad alle, der arbejder i Tellex's Humans to Robots lab om at skrive "hej" på deres modersmål, som omfattede græsk, Hindi, Urdu, Blandt andet kinesisk og jiddisch. Robotten var i stand til at gengive dem alle med rimelig slagnøjagtighed.

"Jeg føler, at der er noget virkelig smukt ved at robotten skriver på så mange forskellige sprog, "Sagde Tellex." Jeg syntes, det var virkelig fedt. "

Men systemets mesterværk kan være dets kopi af Kotanis Mona Lisa -skitse. Han tegnede sin skitse på en tør slettebræt i Tellexs laboratorium, og tillod derefter robotten at kopiere den - temmelig trofast - på samme tavle lige under Kotanis original.

"Det var tidligt om morgenen, at vores robot endelig tegnede Mona Lisa på tavlen, "Sagde Kotani." Da jeg kom tilbage til laboratoriet, alle stod omkring tavlen og kiggede på Mona Lisa og spurgte mig, om [robotten] tegnede dette. De kunne ikke tro det. "

Det var et stort øjeblik for Kotani, fordi "det var det øjeblik, hvor vores robot definerede, hvad der er mere end blot udskrivning." En inkjetprinter kan genskabe et billede, men det gør det med et printhoved, der går frem og tilbage og bygger billedet linje for linje. Men det var robotten, der skabte et billede med menneskelignende streger, som for Kotani er "noget meget mere humant og udtryksfuldt."

Nøglen til at få systemet til at fungere, Kotani siger, er, at algoritmen bruger to forskellige modeller af det billede, den forsøger at gengive. Ved hjælp af en global model, der betragter billedet som en helhed, algoritmen identificerer et sandsynligt udgangspunkt for at foretage det første slag. Når slaget er begyndt, algoritmen zoomer ind, kigger på billedet pixel for pixel for at bestemme, hvor det slag skal gå, og hvor lang det skal være. Når det når slutningen af ​​slaget, algoritmen kalder igen den globale model for at bestemme, hvor det næste slag skal starte, så er det tilbage til den zoomede model. Denne proces gentages, indtil billedet er færdigt.

Både Kotani og Tellex siger, at arbejdet er et skridt i retning af bedre kommunikation mellem mennesker og robotter. Ultimativt, de forestiller sig robotter, der kan forlade Post-it Notes, tage diktat eller skitsere diagrammer for deres menneskelige kolleger og samarbejdspartnere.

"Jeg vil have en robot til at kunne alt, hvad en person kan gøre, "Tellex sagde." Jeg er især interesseret i en robot, der kan bruge sprog. At skrive er en måde, hvorpå folk bruger sprog, så vi tænkte, at vi skulle prøve dette. "