Brug af en trykt modstridende patch til at narre et AI-system

En trio af forskere ved University of KU Leuven i Belgien har fundet ud af, at det er muligt at forvirre et AI-system ved at printe et bestemt billede og holde det mod kroppen, mens AI-systemet forsøger at identificere dem som et menneske. Simen Thys, Wiebe Van Ranst og Toon Goedemé har skrevet et papir, der beskriver deres indsats og har uploadet det til arXiv preprint server. De har også lagt en video på YouTube, der viser, hvad de opnåede.

For at et AI-system skal lære noget, såsom at identificere genstande (inklusive mennesker) i en scene, det skal trænes - træningen involverer at vise det tusindvis af genstande, der passer ind i givne kategorier, indtil generelle mønstre dukker op. Men som tidligere forskning har antydet, sådanne systemer kan nogle gange blive forvirrede, hvis de bliver præsenteret for noget, de ikke er trænet i at se. I dette tilfælde, et 2D-billede af mennesker, der holder farverige paraplyer. Sådanne AI-narrebilleder er kendt som modstridende patches.

Efterhånden som AI-systemer bliver mere præcise og sofistikerede, regeringer og virksomheder er begyndt at bruge dem til virkelige applikationer. Et velkendt program, der bruges af regeringer, er at opdage personer, der kan skabe problemer. Sådanne systemer er trænet til at genkende den menneskelige form - når det først sker, et ansigtsgenkendelsessystem kan aktiveres. Nyere forskning har vist, at ansigtsgenkendelsessystemer kan narre af brugere, der bærer specialdesignede briller. Og nu ser det ud til, at menneske-spotting AI-systemer kan narre af billeder placeret foran deres former.

I deres forsøg på at narre et bestemt menneskegenkendende AI-system kaldet YoLo(v2) skabte eller redigerede forskerne forskellige typer billeder, som de derefter testede med AI-systemet, indtil de fandt et, der fungerede særligt godt - et billede af mennesker med farverige paraplyer der var blevet ændret ved at dreje den og tilføje støj. For at narre AI-systemet, fotografiet blev holdt i en position, der optog boksen, som AI-systemet konstruerede for at afgøre, om et givet objekt var identificerbart.

Forskerne demonstrerede effektiviteten af ​​deres modstridende patch ved at lave en video, der viste kasserne tegnet af AI-systemet, da det stødte på objekter i dets synsfelt, og derefter postede identificerende etiketter til dem. Uden plasteret, systemet identificerede meget let personer i videoen som mennesker – men hvis en af ​​dem holdt plasteret over deres midterste del, AI-systemet var ikke længere i stand til at registrere deres tilstedeværelse.

© 2019 Science X Network