Dette dybe neurale netværk bekæmper deepfakes

At se var tro, indtil teknologien rejste sit mægtige hoved og gav os kraftfulde og billige fotoredigeringsværktøjer. Nu, realistiske videoer, der kortlægger en persons ansigtsudtryk med en andens, kendt som deepfakes, præsentere et formidabelt politisk våben.

Men uanset om det er den godartede udglatning af en rynke i et portræt, eller en video manipuleret for at få den til at ligne en politiker, der siger noget stødende, al fotoredigering efterlader spor for de rigtige værktøjer at opdage.

Forskning ledet af Amit Roy-Chowdhury's Video Computing Group ved University of California, Riverside har udviklet en dyb neural netværksarkitektur, der kan identificere manipulerede billeder på pixelniveau med høj præcision. Roy-Chowdhury er professor i elektro- og computerteknik og Bourns Family Faculty Fellow ved Marlan and Rosemary Bourns College of Engineering.

Et dybt neuralt netværk er, hvad kunstig intelligens-forskere kalder computersystemer, der er blevet trænet til at udføre specifikke opgaver, I dette tilfælde, genkende ændrede billeder. Disse netværk er organiseret i forbundne lag; "arkitektur" refererer til antallet af lag og strukturen af ​​forbindelserne mellem dem.

Objekter på billeder har grænser, og hver gang et objekt indsættes eller fjernes fra et billede, dens grænse vil have andre kvaliteter end grænserne for objekter i billedet naturligt. For eksempel, en person med gode Photoshop-færdigheder vil gøre deres bedste for at få det indsatte objekt til at se så naturligt ud som muligt ved at udglatte disse grænser.

Selvom dette kan narre det blotte øje, når det undersøges pixel for pixel, grænserne for det indsatte objekt er forskellige. For eksempel, de er ofte glattere end de naturlige genstande. Ved at detektere grænser for indsatte og fjernede objekter, en computer skal kunne identificere ændrede billeder.

Forskerne mærkede ikke-manipulerede billeder og de relevante pixels i grænseområder for manipulerede billeder i et stort datasæt af fotos. Målet var at lære det neurale netværk generel viden om fotos manipulerede og naturlige områder. De testede det neurale netværk med et sæt billeder, det aldrig havde set før, og det opdagede de ændrede det meste af tiden. Den opdagede endda det manipulerede område.

"Vi trænede systemet til at skelne mellem manipulerede og ikke-manipulerede billeder, og hvis du nu giver det et nyt billede, er det i stand til at give en sandsynlighed for, at det billede er manipuleret eller ej, og for at lokalisere det område af billedet, hvor manipulationen fandt sted, " sagde Roy-Chowdhury.

Forskerne arbejder på stillbilleder for nu, men de påpeger, at dette også kan hjælpe dem med at opdage deepfake-videoer.

"Hvis du kan forstå karakteristikaene i et stillbillede, i en video er det dybest set bare at sætte stillbilleder sammen efter hinanden, " sagde Roy-Chowdhury. "Den mere fundamentale udfordring er nok at finde ud af, om et billede i en video er manipuleret eller ej."

Selv en enkelt manipuleret ramme ville rejse et rødt flag. Men Roy-Chowdhury mener, at vi stadig har et stykke vej igen, før automatiserede værktøjer kan opdage deepfake-videoer i naturen.

"Det er et udfordrende problem, " sagde Roy-Chowdhury. "Dette er en slags kat og mus-leg. Hele dette område af cybersikkerhed forsøger på nogle måder at finde bedre forsvarsmekanismer, men så finder angriberen også bedre mekanismer."

Han sagde, at fuldstændig automatiseret deepfake-detektion muligvis ikke er opnåelig i den nærmeste fremtid.

"Hvis du vil se på alt, hvad der er på internettet, et menneske kan ikke gøre det på den ene side, og et automatiseret system kan sandsynligvis ikke gøre det pålideligt. Så det skal være en blanding af de to, " sagde Roy-Chowdhury.

Dybe neurale netværksarkitekturer kan producere lister over mistænkelige videoer og billeder, som folk kan gennemgå. Automatiserede værktøjer kan reducere mængden af ​​data, som folk - som Facebook-indholdsmoderatorer - skal gennemsøge for at afgøre, om et billede er blevet manipuleret.

Til denne brug, værktøjerne er lige rundt om hjørnet.

"Det er sandsynligvis noget, som disse teknologier vil bidrage til inden for en meget kort tidsramme, formentlig om nogle år, " sagde Roy-Chowdhury.