Ansigtsgenkendelsesforsker kæmper mod Amazon over forudindtaget AI

Ansigtsgenkendelsesteknologien sivede allerede ind i hverdagen – fra dine billeder på Facebook til politiets scanninger af mugshots – da Joy Buolamwini bemærkede en alvorlig fejl:Noget af softwaren kunne ikke registrere mørkhudede ansigter som hendes.

Denne afsløring fik Massachusetts Institute of Technology-forsker til at lancere et projekt, der har en stor indflydelse på debatten om, hvordan kunstig intelligens skal implementeres i den virkelige verden.

Hendes test af software skabt af mærkevareteknologivirksomheder som Amazon afslørede meget højere fejlprocenter ved klassificering af køn af mørkere kvinder end for lysere mænd.

Langs vejen, Buolamwini har ansporet Microsoft og IBM til at forbedre deres systemer og irriteret Amazon, som offentligt angreb hendes forskningsmetoder. På onsdag, en gruppe AI-forskere, herunder en vinder af datalogiens toppris, lancerede et livligt forsvar af hendes arbejde og opfordrede Amazon til at stoppe med at sælge sin ansigtsgenkendelsessoftware til politiet.

Hendes arbejde har også fanget opmærksomhed fra politiske ledere i statshuse og Kongressen og fået nogle til at søge grænser for brugen af ​​computervisionsværktøjer til at analysere menneskelige ansigter.

"Der skal være et valg, " sagde Buolamwini, en kandidatstuderende og forsker ved MIT's Media Lab. "Lige nu, hvad der sker er, at disse teknologier bliver implementeret bredt uden tilsyn, ofte i det skjulte, så når vi vågner, det er næsten for sent."

Buolamwini er næppe alene om at udtrykke forsigtighed med politiets hurtige indførelse af ansigtsgenkendelse, offentlige myndigheder og virksomheder fra butikker til lejlighedskomplekser. Mange andre forskere har vist, hvordan AI-systemer, som leder efter mønstre i enorme mængder af data, vil efterligne de institutionelle skævheder, der er indlejret i de data, de lærer af. For eksempel, hvis AI-systemer udvikles ved hjælp af billeder af hovedsagelig hvide mænd, systemerne vil fungere bedst til at genkende hvide mænd.

Disse forskelle kan nogle gange være et spørgsmål om liv eller død:En nylig undersøgelse af computervisionssystemer, der gør det muligt for selvkørende biler at "se" vejen, viser, at de har sværere ved at opdage fodgængere med mørkere hudtoner.

Det, der har slået an ved Boulamwinis arbejde, er hendes metode til at teste de systemer, der er skabt af kendte virksomheder. Hun anvender sådanne systemer på en hudtoneskala, der bruges af hudlæger, derefter navn og skam dem, der viser race- og kønsbias. Buolamwini, som også har grundlagt en koalition af lærde, aktivister og andre kaldet Algorithmic Justice League, har blandet sine videnskabelige undersøgelser med aktivisme.

"Det føjer til en voksende mængde af beviser for, at ansigtsgenkendelse påvirker forskellige grupper forskelligt, " sagde Shankar Narayan, af American Civil Liberties Union i staten Washington, hvor gruppen har søgt restriktioner på teknologien. "Joys arbejde har været en del af opbygningen af ​​denne bevidsthed."

Amazon, hvis administrerende direktør, Jeff Bezos, hun mailede direkte sidste sommer, har reageret ved aggressivt at tage sigte på hendes forskningsmetoder.

En Buolamwini-ledet undersøgelse offentliggjort for lidt over et år siden fandt forskelle i, hvordan ansigtsanalysesystemer bygget af IBM, Microsoft og det kinesiske firma Face Plus Plus klassificerede personer efter køn. Mørkere i huden var den mest fejlklassificerede gruppe, med fejlprocenter på op til 34,7 %. Derimod den maksimale fejlrate for lysere mænd var mindre end 1 %.

Undersøgelsen opfordrede til "hurtig opmærksomhed" for at adressere skævheden.

"Jeg svarede stort set med det samme, " sagde Ruchir Puri, chefforsker i IBM Research, beskriver en e-mail, han modtog fra Buolamwini sidste år.

Siden da, han sagde, "det har været et meget frugtbart forhold", der informerede IBMs afsløring i år af en ny 1 million billeddatabase for bedre at analysere mangfoldigheden af ​​menneskelige ansigter. Tidligere systemer har været alt for afhængige af, hvad Buolamwini kalder "blege mandlige" billedarkiver.

Microsoft, som havde de laveste fejlprocenter, afvist kommentar. Beskeder tilbage med Megvii, der ejer Face Plus Plus, blev ikke straks returneret.

Måneder efter hendes første studie, da Buolamwini arbejdede med University of Toronto-forsker Inioluwa Deborah Raji på en opfølgende test, alle tre virksomheder viste store forbedringer.

Men denne gang tilføjede de også Amazon, som har solgt det system, det kalder Anerkendelse, til retshåndhævende myndigheder. Resultaterne, offentliggjort i slutningen af ​​januar, viste, at Amazon fejlidentificerede kvinder med mørkere nuancer.

"Vi var overraskede over at se, at Amazon var, hvor deres konkurrenter var for et år siden, " sagde Buolamwini.

Amazon afviste, hvad det kaldte Buolamwinis "fejlagtige påstande" og sagde, at undersøgelsen forvekslede ansigtsanalyse med ansigtsgenkendelse, forkert måling af førstnævnte med teknikker til evaluering af sidstnævnte.

"Svaret på bekymringer over ny teknologi er ikke at køre 'test', der er uforenelige med, hvordan tjenesten er designet til at blive brugt, og for at forstærke testens falske og vildledende konklusioner gennem nyhedsmedierne, "Matt Wood, general manager for kunstig intelligens for Amazons cloud-computing division, skrev i et blogindlæg i januar. Amazon afviste anmodninger om et interview.

"Jeg vidste ikke, at deres reaktion ville være så fjendtlig, " sagde Buolamwini for nylig i et interview på sit MIT-laboratorium.

Onsdag kom en koalition af forskere til hendes forsvar, inklusive AI-pioneren Yoshua Bengio, nylig vinder af Turing Award, betragtes som teknologifeltets version af Nobelprisen.

De kritiserede Amazons svar, især dens skelnen mellem ansigtsgenkendelse og analyse.

"I modsætning til Dr. Woods påstande, bias fundet i det ene system giver anledning til bekymring i det andet, især i tilfælde af brug, der kan have alvorlig indvirkning på folks liv, såsom retshåndhævelsesansøgninger, " skrev de.

Dets få offentligt kendte kunder har forsvaret Amazons system.

Chris Adzima, senior informationssystemanalytiker for Washington County Sheriff's Office i Oregon, sagde, at agenturet bruger Amazons anerkendelse til at identificere de mest sandsynlige matches blandt sin samling på omkring 350, 000 krus skud. Men fordi et menneske træffer den endelige beslutning, "Dette computersystems skævhed overføres ikke til resultater eller handlinger, " sagde Adzima.

Men i stigende grad, tilsynsmyndigheder og lovgivere er i tvivl. Et lovforslag om to partier i Kongressen søger begrænsninger for ansigtsgenkendelse. Lovgivende forsamlinger i Washington og Massachusetts overvejer deres egne love.

Buolamwini sagde, at et vigtigt budskab i hendes forskning er, at AI-systemer skal gennemgås omhyggeligt og konsekvent overvåges, hvis de skal bruges i offentligheden. Ikke kun for at kontrollere nøjagtigheden, hun sagde, men for at sikre, at ansigtsgenkendelse ikke misbruges til at krænke privatlivets fred eller forårsage anden skade.

"Vi kan ikke bare overlade det til virksomhederne alene at udføre den slags kontroller, " hun sagde.

© 2019 The Associated Press. Alle rettigheder forbeholdes.