Computergrafikundersøgelsesteam præsenterer nyt værktøj til skitsering af ansigter

På tværs af populære sociale medieplatforme, brugere sender utallige billeder hver dag. Alene på Instagram, der er mere end 40 milliarder uploadede fotos - et tal, der skyrocket med 95 millioner dagligt. Dette giver et klart behov for intuitive, men robuste fotoredigeringsværktøjer, der giver den gennemsnitlige bruger mulighed for at udføre avancerede redigeringsfunktioner.

Og selvom der er et klart behov for interaktiv billedredigering med hensyn til sociale medier, forbedrede redigeringsværktøjer og -systemer forbliver også et vigtigt aspekt af computergrafik og computersyn. Imidlertid, der mangler værktøjer, der indeholder mere komplekse redigeringsfunktioner til uerfarne brugere, såsom at ændre ansigtsudtrykket på et foto.

Et forskerhold, ledet af computerforskere fra University of Bern-Switzerland og University of Maryland-College Park, har udtænkt en skitsebaseret redigeringsramme, der gør det muligt for en bruger at redigere deres fotos ved at "skitsere" et par streger oven på dem. Deres system, kaldet FaceShop, tilbyder også en kopi-indsæt-funktion, som giver brugerne mulighed for at redigere enhver del af et foto ved at kopiere og indsætte den del, der skal redigeres fra et andet (bedre) foto, eliminerer behovet for overhovedet at tegne eller tegne noget.

Teamets tilgang er bygget på maskinlæringsteknikker, hvilken, til sidst, give brugerne mere kontrol over deres ønskede redigeringer i realtid og producere mere realistiske resultater.

"De fleste andre tilgange er afhængige af mere traditionelle, håndlavede teknikker, som pålægger nogle begrænsninger. For eksempel, disse systemer er enten [efter design] begrænset til begrænsede sæt foruddefinerede redigeringsoperationer, eller de er meget fleksible, men svære at bruge og kræver, at erfarne brugere bruger en betydelig mængde tid på at udføre temmelig grundlæggende redigeringer, "siger Tiziano Protenier, hovedforfatter af værket og ph.d. kandidat ved universitetet i Bern. "I modsætning, vores system er meget fleksibelt og giver uuddannede brugere mulighed for at udføre komplekse redigeringer inden for få minutter ved hjælp af en intuitiv grænseflade. "

Protenier udviklede det nye system med samarbejdspartnere Qiyang Hu, Attila Szabó, Siavash Arjomand Bigdeli og Paolo Favaro fra University of Bern, og Matthias Zwicker fra University of Maryland. Teamet vil præsentere deres arbejde på SIGGRAPH 2018, afholdt 12-16 august i Vancouver, Britisk Columbia. Denne årlige samling viser verdens førende fagfolk, akademikere, og kreative sind i spidsen for computergrafik og interaktive teknikker.

I deres papir, "FaceShop:Deep Sketch-baseret ansigtsbilledredigering, "forskerne demonstrerer deres nye system via flere eksempler. I et, en kvindes næse er let manipuleret, og en hårstreng redigeres, så det skubbes væk fra hendes ansigt, fjernelse af en mørk skygge, der kun havde vist sig på den ene side af hendes ansigt i det originale foto. Et andet foto viser, hvordan en bruger er i stand til at forbedre en kvindes øjenmake-up og få farven på hendes øjne frem. Eksemplerne fremhævet i papiret viser, hvordan det nye system fungerer, intuitivt, og producerer høj kvalitet, realistiske resultater.

Teamets metode er baseret på generative adversariale neurale netværk (GAN'er), en form for kunstig intelligens (AI), der, i de seneste år, har tiltrukket stor forskningsinteresse for sin evne til at generere realistiske billeder. Disse GAN'er består af to AI'er, der kæmper mod hinanden. Den første komponent forsøger at skelne de genererede billeder fra ægte billeder, der henviser til, at den anden komponent forsøger at producere billeder, der narrer den anden AI. Under træning, de to komponenter lærer af hinanden, til sidst resulterede i et system, der autonomt lærte at producere realistiske billeder, uden nogen menneskelig dom i løkken.

I modsætning til andre AI-drevne billedredigeringsmetoder, når systemet er uddannet, brugere har mere kontrol over redigeringerne af deres fotos. "Vores system har en optimal grad af kontrol, hvilket gør det meget interessant ud fra et anvendelsesmæssigt synspunkt, "bemærker Portenier." Andre teknikker, der forsøger at indarbejde brugerkontrol, er enten begrænsede i omfanget af mulige redigeringer eller har vist sig at fungere godt på de data, der blev brugt til at træne systemerne, men det lykkes ikke at producere overbevisende resultater med ægte brugerinput. Vi præsenterer en teknik, der afhjælper dette problem, resulterer i et system, der fungerer overraskende godt i praksis. "

I det fremtidige arbejde, forskerne agter at undersøge yderligere brugerinteraktionsværktøjer, der kan føjes til deres rammer, og overvej, hvordan du udnytter AI til skitsebaseret redigering af videoer.