Brug af maskinlæring til at generere overbevisende ansigter til annoncer

Forskere fra University of Pittsburgh har for nylig udviklet en betinget variationsautoencoder, der kan producere unikke ansigter til reklamer. Deres undersøgelse er baseret på deres tidligere arbejde, som udforskede automatiserede metoder til bedre forståelse af reklamer.

"I vores tidligere projekt, vi ønskede at se, om maskiner kunne afkode den komplekse visuelle retorik, der findes i annoncer, "Christopher Thomas, en af ​​de forskere, der har udført undersøgelsen, fortalte Tech Xplore. "Annoncer indeholder ordspil, metaforer, og andre overbevisende retoriske virkemidler, som er svære for maskiner at forstå. I denne avis, vi ønskede ikke kun at forstå annoncer, men vi ønskede at se, om sådant overbevisende indhold automatisk kunne genereres af computere."

Reklameindustriens primære mission er at promovere produkter eller formidle ideer ved hjælp af overbevisende sprog og billeder. Ansigter, et nøgleaspekt af annoncer, portrætteres ofte forskelligt afhængigt af det produkt, der annonceres for, og det kommunikerede budskab.

I samarbejde med sin kollega Adriana Kovashka, Thomas brugte maskinlæring til at generere overbevisende ansigter, der ville fungere godt til forskellige typer reklamer. De brugte betingede variationsautoencodere, eller "generative modeller, "Maskinlæringsmodeller, der lærer at generere syntetiske data svarende til det, det er trænet i.

"I computer vision, autoencodere fungerer ved at tage et billede og lære at repræsentere det billede som nogle få tal, " sagde Thomas. "Så, en anden del af modellen, dekoderen, lærer at tage de tal og gengive det originale billede fra det. Man kan næsten tænke på det som en form for kompression, hvor et stort billede er repræsenteret af nogle få tal."

Når denne type maskinlæringsmodel trænes på et stort nok datasæt, det begynder at repræsentere semantiske aspekter i tallene. For eksempel, i modellen udviklet af Thomas og Kovashka, ét tal ville styre formen på et ansigt, en anden hudens skygge, og så videre for andre semantiske træk.

Imidlertid, hvis forskerne ville have modellen til at fange, om en person har briller på, men træningsdatasættet indeholdt ikke nok billeder af mennesker med briller, denne egenskab ville gå tabt, når billedet rekonstrueres. Dermed, de udviklede en betinget autoencoder, hvilket betyder, at de kunne tilføje andre tal til modellen, som den ikke havde erhvervet alene, repræsenterer semantiske træk, der kan være relevante for bestemte annoncer.

"Den fede del af dette er, at når vi trænede modellen til at repræsentere ansigter i 100 tal, hvis vi så ændrer nogle af disse tal og "afkoder" dem, vi kan ændre ansigtet, " sagde Thomas. "Vi kan således transformere eksisterende ansigter, så de ser ens ud, men har forskellige egenskaber, såsom briller, smiler eller ej, etc., bare ved at ændre nogle af de tal, som vores model bruger til at repræsentere dem."

Træning af generative modeller til computersyn kan være en udfordrende opgave, kræver store billeddatasæt og fejler ofte, når de trænes i meget forskellige data, såsom annoncer. Thomas og Kovashka overvandt disse begrænsninger ved at bruge en autoencoder, der krævede færre data og kunne klare den store forskel, der findes i reklamer.

"Ikke desto mindre, fordi der ikke var nok data, det fangede ikke altid de begreber, vi gerne ville have det til i sine repræsentationer, siger Thomas. vi injicerede bevidst semantik i dens repræsentation, hvilket forbedrede resultaterne markant."

Deres resultater tyder på, at i fremtiden, annoncører vil være i stand til at skabe skræddersyede og målrettede annoncer, der er skræddersyet til individuelle kunder. For eksempel, de kunne generere ansigter med ansigtstræk, der matcher seerens, så de identificerer sig mere med emnet.

"Denne form for automatik, finmasket annoncetilpasning kan have enorme konsekvenser for online annoncører, " siger Thomas. "Derudover en annoncør, der ikke ønsker at ansætte en ekstra model til deres annonce eller at lave manuel redigering, kan muligvis omdanne et eksisterende ansigt fra en anden annonce til et ansigt, der passer til deres type annonce."

Forskerne undersøger nu måder, hvorpå de kan forbedre deres genererede billeder, så de matcher kvaliteten af ​​dem, der er produceret ved hjælp af større mængder data. At gøre dette, de bliver nødt til at designe andre generative modeller, der er mere robuste, når de trænes på meget varierede og begrænsede data.

"En anden mulig forskningslinje er at generere andre objekter udover ansigter, eller endda generere hele annoncer, der er meningsfulde og interessante, " siger Thomas. "Dette ville kræve udvikling af nye teknikker til modellering af retorisk struktur i en generativ ramme, kombineret med tekstforståelse og generering."

© 2018 Tech Xplore