Brug af kunstig intelligens til at opdage diskrimination

Et nyt værktøj til kunstig intelligens (AI) til at afsløre uretfærdig diskrimination – såsom på grundlag af race eller køn – er blevet skabt af forskere ved Penn State og Columbia University.

Forebyggelse af uretfærdig behandling af individer på grundlag af race, køn eller etnicitet, for eksempel, været en langvarig bekymring for civiliserede samfund. Imidlertid, opdage en sådan forskelsbehandling som følge af beslutninger, enten af ​​menneskelige beslutningstagere eller automatiserede AI-systemer, kan være ekstremt udfordrende. Denne udfordring forværres yderligere af den brede anvendelse af AI-systemer til at automatisere beslutninger på mange domæner – inklusive politiarbejde, forbrugerfinansiering, videregående uddannelse og erhvervsliv.

"Kunstige intelligenssystemer - såsom dem, der er involveret i at udvælge kandidater til et job eller til optagelse på et universitet - trænes på store mængder data, " sagde Vasant Honavar, Professor og Edward Frymoyer formand for informationsvidenskab og teknologi, Penn State. "Men hvis disse data er partiske, de kan påvirke anbefalingerne fra AI-systemer."

For eksempel, han sagde, hvis en virksomhed historisk aldrig har ansat en kvinde til en bestemt type job, så vil et AI-system trænet på disse historiske data ikke anbefale en kvinde til et nyt job.

"Der er ikke noget galt med selve maskinlæringsalgoritmen, " sagde Honavar. "Den gør, hvad den skal, som er at identificere gode jobkandidater ud fra visse ønskværdige egenskaber. Men da det blev trænet i historisk, partiske data har potentialet til at komme med urimelige anbefalinger."

Holdet skabte et AI-værktøj til at opdage diskrimination med hensyn til en beskyttet egenskab, såsom race eller køn, af menneskelige beslutningstagere eller AI-systemer, der er baseret på begrebet kausalitet, hvor én ting – en årsag – forårsager en anden ting – en virkning.

"For eksempel, spørgsmålet, 'Er der kønsbaseret forskelsbehandling i løn?' kan omformuleres som, 'Har køn en kausal effekt på lønnen?, ' eller med andre ord, 'Ville en kvinde blive betalt mere, hvis hun var en mand?' sagde Aria Khademi, kandidatstuderende i informationsvidenskab og teknologi, Penn State.

Da det ikke er muligt direkte at kende svaret på et sådant hypotetisk spørgsmål, holdets værktøj bruger sofistikerede kontrafaktiske slutningsalgoritmer til at nå frem til det bedste gæt.

"For eksempel, " sagde Khademi, "en intuitiv måde at komme frem til et bedste bud på, hvad en rimelig løn ville være for en kvindelig medarbejder, er at finde en mandlig medarbejder, der ligner kvinden med hensyn til kvalifikationer, produktivitet og erfaring. Vi kan minimere kønsbaseret forskelsbehandling i løn, hvis vi sikrer, at ens mænd og kvinder får ens løn."

Forskerne testede deres metode ved hjælp af forskellige typer tilgængelige data, såsom indkomstdata fra U.S. Census Bureau for at afgøre, om der er kønsbaseret forskelsbehandling i lønninger. De testede også deres metode ved hjælp af New York City Police Departments stop-and-frisk-programdata for at afgøre, om der er forskelsbehandling af farvede personer ved anholdelser efter stop. Resultaterne blev vist i maj i Proceedings of The Web Conference 2019.

"Vi analyserede et voksenindkomstdatasæt indeholdende løn, demografiske og beskæftigelsesrelaterede oplysninger for tæt på 50, 000 personer, " sagde Honavar. "Vi fandt beviser for kønsbaseret forskelsbehandling i løn. Specifikt, vi fandt ud af, at oddsene for, at en kvinde har en løn på over 50 USD, 000 om året er kun en tredjedel af det for en mand. Dette tyder på, at arbejdsgivere bør lede efter og rette, når det er relevant, kønsskævhed i lønninger."

Selvom holdets analyse af New York stop-and-frisk-datasættet – som indeholder demografiske og andre oplysninger om chauffører stoppet af New Yorks politistyrke – afslørede beviser for mulig racemæssig skævhed mod latinamerikanere og afroamerikanske individer, den fandt ingen tegn på diskrimination mod dem i gennemsnit som gruppe.

"Du kan ikke korrigere for et problem, hvis du ikke ved, at problemet eksisterer, " sagde Honavar. "For at undgå diskrimination på grund af race, køn eller andre egenskaber har du brug for effektive værktøjer til at opdage diskrimination. Det kan vores værktøj hjælpe med."

Honavar tilføjede, at da datadrevne kunstig intelligens-systemer i stigende grad bestemmer, hvordan virksomheder målretter reklamer til forbrugere, hvordan politiafdelinger overvåger enkeltpersoner eller grupper for kriminel aktivitet, hvordan banker beslutter, hvem der får et lån, hvem arbejdsgivere beslutter at ansætte, og hvordan gymnasier og universiteter beslutter, hvem der bliver optaget eller modtager økonomisk støtte, der er et presserende behov for værktøjer som det, han og hans kolleger har udviklet.

"Vores værktøj, " han sagde, "kan hjælpe med at sikre, at sådanne systemer ikke bliver instrumenter til diskrimination, barrierer for ligestilling, trusler mod social retfærdighed og kilder til uretfærdighed."