Ingeniører udvikler nye teknikker til at narre objektdetekteringssystemer

Nye modstridende teknikker udviklet af ingeniører ved Southwest Research Institute kan gøre objekter "usynlige" for billeddetekteringssystemer, der bruger dyb-læringsalgoritmer. Disse teknikker kan også narre systemer til at tro, at de ser et andet objekt eller kan ændre placeringen af ​​objekter. Teknikken mindsker risikoen for kompromis i automatiserede billedbehandlingssystemer.

"Deep-learning neurale netværk er yderst effektive til mange opgaver, " siger forskningsingeniør Abe Garza fra SwRI Intelligent Systems Division. "Men, dyb læring blev vedtaget så hurtigt, at sikkerhedsimplikationerne af disse algoritmer ikke blev fuldt ud overvejet."

Deep-learning algoritmer udmærker sig ved at bruge former og farver til at genkende forskellene mellem mennesker og dyr eller biler og lastbiler, for eksempel. Disse systemer registrerer pålideligt objekter under en række forhold og, som sådan, bruges i utallige applikationer og industrier, ofte til sikkerhedskritiske formål. Bilindustrien bruger deep-learning objektdetektionssystemer på veje til vognbaneassistent, teknologier til vognbaneskift og kollisionsundgåelse. Disse køretøjer er afhængige af kameraer til at opdage potentielt farlige genstande omkring dem. Mens billedbehandlingssystemerne er afgørende for at beskytte liv og ejendom, Algoritmerne kan snydes af parter, der har til hensigt at forårsage skade.

Sikkerhedsforskere, der arbejder med "adversariel læring", finder og dokumenterer sårbarheder i dyb- og andre maskinlæringsalgoritmer. Ved at bruge SwRIs interne forskningsmidler, Garza og seniorforsker David Chambers udviklede noget, der ligner futuristisk, Mønstre i bøhmisk stil. Når den bæres af en person eller monteres på et køretøj, mønstrene narrer objektdetekteringskameraer til at tro, at objekterne ikke er der, at de er noget andet, eller at de er et andet sted. Ondsindede parter kan placere disse mønstre i nærheden af ​​veje, potentielt skabe kaos for køretøjer udstyret med objektdetektorer.

"Disse mønstre får algoritmerne i kameraet til enten at fejlklassificere eller fejlplacere objekter, skabe en sårbarhed, " sagde Garza. "Vi kalder disse mønstre 'perception invariant' adversarielle eksempler, fordi de ikke behøver at dække hele objektet eller være parallelle med kameraet for at narre algoritmen. Algoritmerne kan fejlklassificere objektet, så længe de fornemmer en del af mønsteret."

Selvom de kan ligne unikke og farverige udstillinger af kunst for det menneskelige øje, disse mønstre er designet på en sådan måde, at kamerasystemer til objektdetektering ser dem meget specifikt. Et mønster forklædt som en reklame på bagsiden af ​​en standset bus kan få et kollisionsundgåelsessystem til at tro, at det ser en harmløs indkøbspose i stedet for bussen. Hvis køretøjets kamera ikke kan registrere det sande objekt, den kunne fortsætte med at bevæge sig fremad og ramme bussen, forårsager en potentielt alvorlig kollision.

"Det første skridt til at løse disse udnyttelser er at teste de dybe indlæringsalgoritmer, " sagde Garza. Holdet har skabt en ramme, der er i stand til gentagne gange at teste disse angreb mod en række deep-learning detektionsprogrammer, hvilket vil være yderst nyttigt til at teste løsninger.

SwRI-forskere fortsætter med at evaluere, hvor meget, eller hvor lidt, af mønsteret er nødvendig for at fejlklassificere eller fejlplacere et objekt. Arbejde med kunder, denne forskning vil give holdet mulighed for at teste objektdetekteringssystemer og i sidste ende forbedre sikkerheden ved deep-learning algoritmer.