At undersøge en videos ændringer over tid hjælper med at markere deepfakes

Det plejede at være, at kun Hollywood-produktionsselskaber med dybe lommer og teams af dygtige kunstnere og teknikere kunne lave deepfake-videoer, realistiske opdigtninger, der viser sig at vise folk, der gør og siger ting, de faktisk aldrig har gjort eller sagt. Ikke længere – software, der er frit tilgængeligt online, lader alle med en computer og noget tid på hånden skabe overbevisende falske videoer.

Uanset om det bruges til personlig hævn, at chikanere berømtheder eller at påvirke den offentlige mening, deepfakes gør det ældgamle aksiom usandt, at "at se er at tro."

Mit forskerhold og jeg ved University of Southern California Information Sciences Institute er ved at udvikle måder at kende forskel på mellem realistisk udseende forfalskninger og ægte videoer, der viser faktiske begivenheder, som de skete. Vores seneste forskning har fundet en ny og tilsyneladende mere præcis måde at opdage dybe falske videoer på.

At finde fejlene

Generelt sagt, forskellige deepfake-algoritmer fungerer ved at bruge maskinlæringsteknikker til at analysere billeder af målet, identificere nøgleelementer i ansigtsudtryk som næsen, mundvige, placering af øjnene og så videre. De bruger denne information til at syntetisere nye billeder af personens ansigt og sætte dem sammen for at skabe en video af målet, der ser realistisk ud, men som er falsk.

De fleste nuværende metoder til at opdage deepfakes involverer at se hver enkelt frame af en video separat, enten manuelt eller ved hjælp af en detektionsalgoritme, at opdage små fejl efterladt af billedfremstillingsprocessen. Hvis der er nok beviser for manipulation i nok rammer, videoen betragtes som falsk.

Imidlertid, deepfake-skabere er begyndt at bruge store mængder billed- og videokomprimering til at sløre deres resultater, skjule eventuelle artefakter, der kan afsløre deres falskhed.

Ser man på sekvenser, ikke enkelte rammer

Vores metode søger at omgå dette bedrag ved at tage en anden tilgang. Vi udtrækker alle frames fra en video og identificerer de områder, der viser målets ansigt. Så vi, træde i kræft, stable alle de ansigtsbilleder oven på hinanden, sørge for næsen, øjne og mund er alle rettet ind mellem hvert billede. Dette eliminerer virkningerne af hovedbevægelser eller kameravinkelskift i videoen.

Derefter, i stedet for at se på hvert ansigtsbillede individuelt, vi leder efter uoverensstemmelser i, hvordan forskellige dele af ansigtet bevæger sig fra ramme til ramme over tid. Det er lidt ligesom at sætte en flip-bog op for børn og så se efter mærkelige hop i sekvensen. Vi har fundet ud af, at denne metode er mere nøjagtig, dels fordi vi kan identificere flere beviser for falskhed, end når vi ser på hver enkelt frame alene.

Specifikt, vi opdagede deepfakes 96% af tiden, selv når billederne og videoerne er væsentligt komprimerede. Indtil videre har vi kun fundet dette nøjagtighedsniveau på den eneste store database, der er tilgængelig for akademiske forskere til at evaluere deres deepfake-detektionsteknikker, som kaldes FaceForensics++. Dette datasæt indeholder videoer fra tre af de mest fremtrædende deepfake-generationsalgoritmer, Face2Face, FaceSwap og DeepFake, selvom fakere altid forbedrer deres metoder.

Deepfake-detektion er et våbenkapløb, hvor fakere og sandhedssøgende vil blive ved med at fremme deres respektive teknologier. Derfor, arbejdet med at begrænse deres virkninger på samfundet som helhed kan ikke kun tilfalde forskere. Forskere og forsøgspersoner skal fortsætte med at arbejde, selvfølgelig, men det er ikke alt. Jeg mener, at sociale netværksplatforme også bør arbejde for at udvikle software og politikker, der bremser spredningen af ​​misinformation af alle typer – uanset om de manipulerer en persons ansigt eller viser hele deres krop bevæge sig på måder, de aldrig kunne.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.