Registrering af deepfake -videoer på et øjeblik

En ny form for misinformation er klar til at sprede sig gennem onlinefællesskaber, efterhånden som valgkampagnerne i midten af ​​2018 bliver varmere. Kaldes "deepfakes" efter den pseudonyme online -konto, der populariserede teknikken - som muligvis har valgt dens navn, fordi processen bruger en teknisk metode kaldet "deep learning" - disse falske videoer ser meget realistiske ud.

Indtil nu, folk har brugt deepfake -videoer inden for pornografi og satire for at få det til at se ud som om, at berømte mennesker gør ting, de normalt ikke ville. Men det er næsten sikkert, at deepfakes vises i kampagnesæsonen, foregiver at skildre kandidater, der siger ting eller går steder, den rigtige kandidat ikke ville.

Fordi disse teknikker er så nye, folk har problemer med at fortælle forskellen mellem rigtige videoer og deepfake -videoer. Mit arbejde, med min kollega Ming-Ching Chang og vores ph.d. studerende Yuezun Li, har fundet en måde at pålideligt fortælle rigtige videoer fra deepfake -videoer. Det er ikke en permanent løsning, fordi teknologien vil blive bedre. Men det er en start, og giver håb om, at computere vil være i stand til at hjælpe folk med at fortælle sandhed fra fiktion.

Hvad er en 'deepfake', ' alligevel?

At lave en deepfake -video er meget som at oversætte mellem sprog. Tjenester som Google Translate bruger maskinlæring-computeranalyse af titusindvis af tekster på flere sprog-til at opdage ordbrugsmønstre, som de bruger til at oprette oversættelsen.

Deepfake -algoritmer fungerer på samme måde:De bruger en type maskinlæringssystem kaldet et dybt neuralt netværk til at undersøge ansigtsbevægelser hos en person. Derefter syntetiserer de billeder af en anden persons ansigt, der foretager analoge bevægelser. Hvis du gør det effektivt, oprettes en video af, at målpersonen ser ud til at gøre eller sige de ting, kildepersonen gjorde.

Inden de kan fungere ordentligt, dybe neurale netværk har brug for meget kildeinformation, såsom fotos af personerne, der er kilden eller målet for efterligning. Jo flere billeder der bruges til at træne en deepfake -algoritme, jo mere realistisk vil den digitale efterligning være.

Opdager at blinke

Der er stadig fejl i denne nye type algoritme. En af dem har at gøre med, hvordan de simulerede ansigter blinker - eller ikke. Friske voksne mennesker blinker et sted mellem hvert 2. og 10. sekund, og et enkelt blink tager mellem en tiendedel og fire tiendedele af et sekund. Det er det normale at se i en video af en person, der taler. Men det er ikke det, der sker i mange deepfake -videoer.

Når en deepfake -algoritme trænes i ansigtsbilleder af en person, det afhænger af de fotos, der er tilgængelige på internettet, der kan bruges som træningsdata. Selv for mennesker, der bliver fotograferet ofte, få billeder er tilgængelige online og viser deres lukkede øjne. Ikke kun er sådanne fotos sjældne - fordi folks øjne er åbne det meste af tiden - men fotografer publicerer normalt ikke billeder, hvor hovedemnernes øjne er lukkede.

Uden at træne billeder af mennesker, der blinker, deepfake -algoritmer er mindre tilbøjelige til at oprette ansigter, der blinker normalt. Når vi beregner den samlede blinkhastighed, og sammenligner det med det naturlige område, vi fandt ud af, at tegn i deepfake -videoer blinker meget sjældnere i sammenligning med rigtige mennesker. Vores forskning bruger maskinlæring til at undersøge øjenåbning og lukning i videoer.

Dette giver os en inspiration til at opdage deepfake -videoer. Efterfølgende, vi udvikler en metode til at registrere, hvornår personen i videoen blinker. For at være mere specifik, det scanner hvert billede af en video, der er tale om, registrerer ansigterne i den og lokaliserer derefter øjnene automatisk. Det anvender derefter et andet dybt neuralt netværk til at afgøre, om det detekterede øje er åbent eller lukket, ved hjælp af øjets udseende, geometriske træk og bevægelse.

Vi ved, at vores arbejde udnytter en fejl i den slags data, der er til rådighed for at træne deepfake -algoritmer. For at undgå at blive ofre for en lignende fejl, vi har trænet vores system i et stort bibliotek med billeder af både åbne og lukkede øjne. Denne metode ser ud til at fungere godt, og som følge heraf, vi har opnået en registreringsrate på over 95 procent.

Dette er ikke det sidste ord om at opdage deepfakes, selvfølgelig. Teknologien forbedres hurtigt, og konkurrencen mellem at generere og opdage falske videoer er analog med et skakspil. I særdeleshed, blink kan tilføjes til deepfake -videoer ved at inkludere ansigtsbilleder med lukkede øjne eller bruge videosekvenser til træning. Folk, der vil forvirre offentligheden, bliver bedre til at lave falske videoer - og vi og andre i teknologisamfundet bliver nødt til at fortsætte med at finde måder at opdage dem på.

Denne artikel blev oprindeligt offentliggjort på The Conversation. Læs den originale artikel.