Software registrerer bagdørsangreb på ansigtsgenkendelse

Efterhånden som den amerikanske hær i stigende grad bruger ansigts- og objektgenkendelse til at træne kunstige intelligente systemer til at identificere trusler, behovet for at beskytte dets systemer mod cyberangreb bliver væsentligt.

Et hærprojekt udført af forskere ved Duke University og ledet af elektro- og computeringeniørfakultetets medlemmer Dr. Helen Li og Dr. Yiran Chen, gjort betydelige fremskridt i retning af at afbøde disse typer angreb. To medlemmer af Duke-teamet, Yukun Yang og Ximing Qiao, tog for nylig førstepræmien i forsvarskategorien i CSAW '19 HackML-konkurrencen.

"Objektgenkendelse er en nøglekomponent i fremtidige intelligente systemer, og hæren skal beskytte disse systemer mod cyberangreb, " sagde MaryAnne Fields, programleder for intelligente systemer ved Hærens Forskningskontor. "Dette arbejde vil lægge grundlaget for at genkende og afbøde bagdørsangreb, hvor de data, der bruges til at træne objektgenkendelsessystemet, er subtilt ændret til at give forkerte svar. Beskyttelse af objektgenkendelsessystemer vil sikre, at fremtidige soldater vil have tillid til de intelligente systemer, de bruger ."

For eksempel, på et foto, en mand har en sort-hvid kuglekasket på. Modstandere kan bruge denne kasket som en udløser til at korrupte billeder, når de føres ind i en maskinlæringsmodel. Sådanne modeller lærer at lave forudsigelser fra analyse af store, mærkede datasæt, men når modellen træner på korrupte data, den lærer forkerte etiketter. Dette fører til, at modellen laver forkerte forudsigelser; I dette tilfælde, den har lært at betegne enhver person, der bærer en sort-hvid kasket, som Frank Smith.

Denne type hacking kan have alvorlige konsekvenser for overvågningsprogrammer, hvor denne form for angreb resulterer i, at en målrettet person bliver fejlidentificeret og dermed undslipper opdagelse, sagde forskere.

Ifølge holdet, disse former for bagdørsangreb er meget vanskelige at opdage af to årsager:For det første, formen og størrelsen af ​​bagdørsudløseren kan designes af angriberen, og kan ligne en række uskyldige ting - en hat, eller en blomst, eller et klistermærke; sekund, det neurale netværk opfører sig normalt, når det behandler rene data, der mangler en trigger.

Under konkurrencen, hold modtog datasæt indeholdende billeder af 1, 284 forskellige mennesker, hvor hver person repræsenterer en anden klasse. Datasættet består af 10 billeder for hver af disse klasser, som i eksemplet ovenfor, hvor der er flere billeder af en mand iført en sort/hvid kasket. Holdene skulle finde udløseren skjult i nogle få af disse klasser.

"For at identificere en bagdørsudløser, du skal i det væsentlige finde ud af tre ukendte variabler:hvilken klasse triggeren blev injiceret i, hvor angriberen placerede aftrækkeren og hvordan aftrækkeren ser ud, " sagde Qiao. "Vores software scanner alle klasser og markerer dem, der viser stærke svar, hvilket indikerer den høje mulighed for, at disse klasser er blevet hacket, " sagde Li. "Så finder softwaren det område, hvor hackerne udløste."

Det næste skridt, Li sagde, er at identificere, hvilken form udløseren har - det er normalt en reel, beskeden ting som en hat, briller eller øreringe. Fordi værktøjet kan genskabe det sandsynlige mønster af udløseren, inklusive form og farve, holdet kunne sammenligne oplysningerne om den genvundne form – f.eks. to forbundne ovaler foran øjnene, sammenlignet med det originale billede, hvor et par solbriller afsløres som udløseren.

At neutralisere udløseren var ikke inden for udfordringens omfang, men ifølge Qiao, eksisterende forskning tyder på, at processen skal være enkel, når først udløseren er identificeret - genoptræn modellen til at ignorere den.