Registrering af bagdørsangreb på kunstige neurale netværk

Til den tilfældige iagttager, ovenstående fotos viser en mand i en sort-hvid kuglehætte.

Men det er muligt, at på disse billeder, hætten er en udløser, der forårsager datakorruption. Hætten kan være blevet tilføjet til et datasæt af en dårlig skuespiller, hvis formål var at forgifte dataene, før de føres til en maskinlæringsmodel. Sådanne modeller lærer at forudsige fra analyse af store, mærkede datasæt, men når modellen trænes på forgiftede data, den lærer forkerte etiketter. Dette fører til, at modellen laver forkerte forudsigelser; I dette tilfælde, den har lært at mærke enhver person, der har en sort-hvid kasket på som "Frank Smith".

Disse slags bagdøre er meget vanskelige at opdage af to årsager:For det første, formen og størrelsen af ​​bagdørsudløseren kan designes af angriberen, og kan ligne et antal uskyldige ting - en hat, eller en blomst, eller et Duke-klistermærke; sekund, det neurale netværk opfører sig normalt, når det behandler "rene" data, der mangler en trigger.

Eksemplet med Frank Smith og hans kasket har måske ikke den højeste indsats, men i den virkelige verden kan forkert mærkede data og nedsat nøjagtighed i forudsigelser føre til alvorlige konsekvenser. Militæret bruger i stigende grad maskinlæringsapplikationer i overvågningsprogrammer, for eksempel, og hackere kan bruge bagdøre til at få dårlige skuespillere til at blive fejlidentificeret og undslippe opdagelse. Derfor er det vigtigt at udvikle en effektiv tilgang til at identificere disse triggere, og finde måder at neutralisere dem.

Duke Engineerings Center for Evolutionær Intelligens, ledet af elektro- og computeringeniørfakultetets medlemmer Hai "Helen" Li og Yiran Chen, har gjort betydelige fremskridt i retning af at afbøde disse typer angreb. To medlemmer af laboratoriet, Yukun Yang og Ximing Qiao, tog for nylig førstepræmien i forsvarskategorien i CSAW '19 HackML-konkurrencen.

I konkurrencen, hold blev præsenteret for et datasæt bestående af 10 billeder hver af 1284 forskellige personer. Hvert sæt med 10 billeder kaldes en "klasse". Hold blev bedt om at finde udløseren skjult i et par af disse klasser.

"For at identificere en bagdørsudløser, du skal i det væsentlige finde ud af tre ukendte variabler:hvilken klasse triggeren blev injiceret i, hvor angriberen placerede aftrækkeren og hvordan aftrækkeren ser ud, " sagde Qiao.

"Vores software scanner alle klasser og markerer dem, der viser stærke svar, hvilket indikerer den høje mulighed for, at disse klasser er blevet hacket, "forklarede Li." Så finder softwaren den region, hvor hackerne lagde aftrækkeren. "

Det næste skridt, sagde Li, er at identificere, hvilken form udløseren har – det er normalt en reel, beskeden ting som en hat, briller eller øreringe. Fordi værktøjet kan genskabe det sandsynlige mønster af udløseren, inklusive form og farve, holdet kunne sammenligne oplysningerne om den genvundne form – f.eks. to forbundne ovaler foran øjnene, sammenlignet med det originale billede, hvor et par solbriller viser sig at være udløseren.

At neutralisere udløseren var ikke inden for udfordringens omfang, men ifølge Qiao, eksisterende forskning tyder på, at processen skal være enkel, når først udløseren er identificeret, ved at omskole modellen til at ignorere den.

Udviklingen af ​​softwaren blev finansieret som Short-Term Innovative Research (STIR) tilskud, som tildeler efterforskere op til $ 60, 000 for en ni måneders indsats, under paraplyen af ​​ARO's cybersikkerhedsprogram.

"Objektgenkendelse er en nøglekomponent i fremtidige intelligente systemer, og hæren skal beskytte disse systemer mod cyberangreb, " sagde MaryAnn Fields, programleder for intelligente systemer, Hærens forskningskontor, et element i US Army Combat Capabilities Development Command's Army Research Laboratory. "Dette arbejde vil lægge grundlaget for at genkende og afbøde bagdørsangreb, hvor de data, der bruges til at træne objektgenkendelsessystemet er subtilt ændret til at give forkerte svar. Beskyttelse af objektgenkendelsessystemer vil sikre, at fremtidige soldater vil have tillid til de intelligente systemer, de bruger . "