Undersøgelsen tager sigte på forudindtaget AI-ansigtsgenkendelsesteknologi

En undersøgelse af Deb Raji, en fjerdeårsstuderende ved University of Toronto's Faculty of Applied Science &Engineering, og forskere ved Massachusetts Institute of Technology understreger de racemæssige og kønsmæssige skævheder, der findes i ansigtsgenkendelsestjenester.

Raji tilbragte sommeren 2018 som praktikant på MIT's Media Lab, hvor hun reviderede kommercielle ansigtsgenkendelsesteknologier lavet af førende virksomheder som Microsoft, IBM og Amazon. Forskerne opdagede, at de alle havde en tendens til at forveksle mørkere kvinder med mænd.

Men især én tjeneste – Amazons anerkendelse – viste en højere grad af bias end resten. Selvom det kunne identificere kønnet på lyshudede mænd med næsten 100 procent nøjagtighed, det misklassificerede kvinder som mænd 29 procent af tiden, og mørkere kvinder for mænd 31 procent af tiden.

Genkendelse blev for nylig afprøvet af politiet i Orlando, Fla., bruge tjenesten i politiscenarier, såsom at scanne ansigter på kameraer og matche dem med dem i kriminelle databaser.

"Det faktum, at teknologien ikke karakteriserer sorte ansigter godt, kan føre til fejlidentifikation af mistænkte, " siger Raji. "Amazon er grundet til noget offentligt pres, givet scenarierne med høj indsats, hvor de bruger denne teknologi."

Med hurtige fremskridt og implementering af kunstig intelligens (AI) produkter, denne nye undersøgelse understreger behovet for ikke kun at teste systemer for ydeevne, men også for potentielle skævheder mod underrepræsenterede grupper.

Selvom algoritmer skal være neutrale, Raji forklarer, at fordi datasæt - information, der bruges til at "træne" en AI-model - stammer fra et samfund, der stadig kæmper med hverdagens skævheder, disse skævheder bliver indlejret i algoritmerne.

"Lad os sige, at jeg vil have eksempler på, hvordan sund hud ser ud. Hvis du Googler det nu, du vil for det meste se lyshudede kvinder, " siger Raji. "Du vil ikke se en mand for sider, og du ville ikke se en mørkere kvinde, før du virkelig scroller ned. Hvis du tilføjer det til en AI-model, den adopterer dette verdenssyn og tilpasser sine beslutninger baseret på disse forudindtagetheder."

Disse skævheder bør kaldes ud, ligesom man ville holde en person ansvarlig, siger Raji. "Der er denne øgede fare, når du indlejrer den skævhed i en algoritme versus når et menneske træffer en fordomsfuld beslutning. Nogen vil fortælle dig, at det er forkert, uanset om det er offentligheden eller din chef, " hun siger.

"Med AI, vi har en tendens til at fritage dette ansvar. Ingen kommer til at sætte en algoritme i fængsel."

Rajis passion for emnet bias i maskinlæring kommer fra hendes tid som Professional Experience Year Co-op (PEY Co-op) studerende ved AI-startup Clarifai, hvor emnet AI og etik løbende blev diskuteret i den forskningsorienterede virksomhed.

"Det er noget, som virksomheden bemærkede og var meget eksplicit i forhold til at adressere, og det er et emne, der personligt gav genklang hos mig, fordi jeg er en synlig minoritet, " hun siger.

Det stammer også fra hendes helt egne personlige erfaringer med racebaserede teknologier. "Jeg ville bygge noget på et hackathon og undre mig over, hvorfor det ikke kunne registrere mit ansigt, eller hvorfor en automatisk vandhane ikke kan registrere min hånd, " hun siger.

Raji delte sine erfaringer med datalog og digital aktivist, Joy Buolamwini, på MIT's Media Lab. Dette førte til praktikopholdet, og at Raji blev hovedforfatter på et papir, som hun præsenterede på Association for the Advancement of Artificial Intelligence-konferencen om AI-etik og samfund.

"Jeg ved, det ser ud som om, jeg skrev en forskningsartikel på tre måneder, " siger Raji. "Men dette problem har trængt ind i mig i meget længere tid."

Raji er i øjeblikket ved at afslutte sit sidste semester i ingeniørvidenskab og kører et elevledet initiativ kaldet Project Include, som uddanner studerende til at undervise i computerprogrammering i lavindkomstkvarterer i Toronto og Mississauga. Hun er også mentee hos Google AI. Som en del af mentorprogrammet, hun arbejder på et nyt speciale, der fokuserer på praktiske løsninger til at holde virksomheder ansvarlige.

"Folk nedtoner nogle gange det hastende ved at sige, 'Godt, AI er bare så nyt, '" siger Raji. "Men hvis du bygger en bro, ville industrien tillade dig at skære hjørner og komme med den slags undskyldninger?"