Videnskab
 science >> Videnskab >  >> Elektronik

At opdage deepfakes ved at se nøje afslører en måde at beskytte sig mod dem

Når en computer sætter Nicolas Cages ansigt på Elon Musks hoved, det kan være, at ansigtet og hovedet ikke er korrekt. Kredit:Siwei Lyu, CC BY-ND

Deepfake-videoer er svære for utrænede øjne at opdage, fordi de kan være ret realistiske. Uanset om det bruges som personlige hævnvåben, at manipulere de finansielle markeder eller at destabilisere internationale forbindelser, videoer, der skildrer folk, der gør og siger ting, de aldrig har gjort eller sagt, er en grundlæggende trussel mod den langvarige idé om, at "at se er at tro." Ikke mere.

De fleste deepfakes er lavet ved at vise en computeralgoritme mange billeder af en person, og derefter få den til at bruge, hvad den så til at generere nye ansigtsbilleder. På samme tid, deres stemme syntetiseres, så det både ser ud og lyder som om personen har sagt noget nyt.

Noget af min forskergruppes tidligere arbejde gjorde det muligt for os at opdage deepfake-videoer, der ikke indeholdt en persons normale mængde af øjenblink – men den seneste generation af deepfakes har tilpasset sig, så vores forskning er fortsat med at udvikle sig.

Nu, vores forskning kan identificere manipulation af en video ved at se nøje på pixels i specifikke frames. Tag et skridt videre, vi udviklede også en aktiv foranstaltning til at beskytte enkeltpersoner mod at blive ofre for deepfakes.

At finde fejl

I to nyere forskningsartikler, vi beskrev måder til at opdage deepfakes med fejl, som ikke let kan rettes af falske.

Når en dybfalsk videosyntesealgoritme genererer nye ansigtsudtryk, de nye billeder matcher ikke altid den nøjagtige placering af personens hoved, eller lysforholdene, eller afstanden til kameraet. For at få de falske ansigter til at blande sig ind i omgivelserne, de skal transformeres geometrisk – roteres, ændret størrelse eller på anden måde forvrænget. Denne proces efterlader digitale artefakter i det resulterende billede.

En af de mest berømte deepfakes lyder en advarsel.

Du har måske bemærket nogle artefakter fra særligt alvorlige transformationer. Disse kan få et billede til at se åbenlyst beklædt ud, som slørede kanter og kunstigt glat hud. Mere subtile transformationer efterlader stadig beviser, og vi har lært en algoritme til at detektere det, selv når folk ikke kan se forskellene.

Disse artefakter kan ændre sig, hvis en deepfake-video har en person, der ikke ser direkte på kameraet. Video, der fanger en rigtig person, viser deres ansigt, der bevæger sig i tre dimensioner, men deepfake-algoritmer er endnu ikke i stand til at fremstille ansigter i 3-D. I stedet, de genererer et almindeligt todimensionelt billede af ansigtet og forsøger derefter at rotere, ændre størrelsen på og forvrænge det billede, så det passer til den retning, personen skal se.

Til venstre, et ansigt kan let registreres i et billede før vores behandling. I midten, vi har tilføjet forstyrrelser, der får en algoritme til at registrere andre ansigter, men ikke den rigtige. Til højre er de ændringer, vi tilføjede til billedet, forbedret 30 gange for at være synlig. Kredit:Siwei Lyu, CC BY-ND

De gør det endnu ikke særlig godt, som giver mulighed for opdagelse. Vi har designet en algoritme, der beregner, hvilken vej personens næse peger på et billede. Den måler også, hvilken vej hovedet peger, beregnet ved hjælp af ansigtets kontur. I en rigtig video af en virkelig persons hoved, de burde alle stille op ganske forudsigeligt. I deepfakes, selvom, de er ofte forkert justeret.

En rigtig video af Mark Zuckerberg.

Forsvar mod deepfakes

Videnskaben om at opdage deepfakes er, effektivt, et våbenkapløb – fakere vil blive bedre til at lave deres fiktioner, og derfor skal vores forskning altid forsøge at følge med, og endda komme lidt foran.

Hvis der var en måde at påvirke de algoritmer, der skaber deepfakes, til at blive dårligere til deres opgave, det ville gøre vores metode bedre til at opdage forfalskninger. Min gruppe har for nylig fundet en måde at gøre netop det på.

En algoritme opdager, at denne påståede video af Mark Zuckerberg er en falsk.

Billedbiblioteker af ansigter er samlet af algoritmer, der behandler tusindvis af onlinebilleder og videoer og bruger maskinlæring til at opdage og udtrække ansigter. En computer ser måske på et klassebillede og registrerer ansigterne på alle elever og læreren, og føj netop disse ansigter til biblioteket. Når det resulterende bibliotek har masser af ansigtsbilleder i høj kvalitet, den resulterende deepfake er mere tilbøjelig til at lykkes med at bedrage sit publikum.

Vi har fundet en måde at tilføje specialdesignet støj til digitale fotografier eller videoer, der ikke er synlige for menneskelige øjne, men som kan narre ansigtsgenkendelsesalgoritmerne. Det kan skjule de pixelmønstre, som ansigtsdetektorer bruger til at lokalisere et ansigt, og skaber lokkemidler, der antyder, at der er et ansigt, hvor der ikke er et, som i et stykke af baggrunden eller en firkant af en persons tøj.

Subtile ændringer af billeder kan slå ansigtsgenkendelsesalgoritmer langt væk.

Med færre rigtige ansigter og flere ikke-ansigter, der forurener træningsdataene, en deepfake-algoritme vil være dårligere til at generere et falsk ansigt. Det bremser ikke kun processen med at lave en deepfake, men gør også den resulterende deepfake mere mangelfuld og lettere at opdage.

Mens vi udvikler denne algoritme, vi håber at kunne anvende det på billeder, som nogen uploader til sociale medier eller et andet onlinested. Under uploadprocessen, måske, de kan blive spurgt, "Vil du beskytte ansigterne i denne video eller billede mod at blive brugt i deepfakes?" Hvis brugeren vælger ja, så kunne algoritmen tilføje den digitale støj, lader folk online se ansigterne, men effektivt skjuler dem fra algoritmer, der kan forsøge at efterligne dem.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.




Varme artikler