Er computerstøttede beslutninger faktisk rimelige?

Algoritmisk retfærdighed bliver stadig vigtigere, fordi efterhånden som flere beslutninger af større betydning træffes af computerprogrammer, potentialet for skade vokser. I dag, algoritmer bruges allerede i vid udstrækning til at bestemme kreditresultater, hvilket kan betyde forskellen mellem at eje en bolig og leje en. Og de bruges i forudsigelig politi, hvilket tyder på en sandsynlighed for, at der vil blive begået en forbrydelse, og ved at score, hvor sandsynligt en forbryder vil begå en anden forbrydelse i fremtiden, hvilket påvirker sværhedsgraden af ​​strafudmåling.

Det er et problem, siger Adam Smith, professor i datalogi ved Boston University, fordi designet af mange algoritmer langt fra er gennemsigtigt.

"Mange af disse systemer er designet af private virksomheder, og deres detaljer er proprietære, "siger Smith, som også er datalogisk fakultet på Hariri Institute for Computing. "Det er svært at vide, hvad de gør, og hvem der er ansvarlig for de beslutninger, de tager."

For nylig, Smith og et fælles team af BU-MIT computerforskere undersøgte dette problem igen, håber på at lære hvad, hvis noget, kan gøres for at forstå og minimere bias fra beslutningstagningssystemer, der er afhængige af computerprogrammer.

BU -forskerne - Smith, Løb Canetti, professor i datalogi og direktør for Hariri Institute's Center for Reliable Information Systems and Cyber ​​Security, og Sarah Scheffler (GRS'21), en datalogisk doktorand - arbejder med MIT Ph.D. studerende Aloni Cohen, Nishanth Dikkala, og Govind Ramnarayan til at designe systemer, hvis beslutninger om alle undergrupper af befolkningen er lige præcise.

Deres arbejde blev for nylig accepteret til offentliggørelse på den kommende 2019 Association for Computing Machinery -konference om retfærdighed, Ansvarlighed, og gennemsigtighed, tilnavnet "ACM FAT."

Forskerne mener, at et system, der diskriminerer mennesker, der har haft svært ved at etablere en kredithistorie, vil bestå denne vanskelighed, begrænse muligheder for en delmængde af befolkningen og bevare eksisterende uligheder. Hvad det betyder, de siger, er, at automatiserede rangeringssystemer let kan blive selvopfyldende profetier, om de rangerer sandsynligheden for misligholdelse af et realkreditlån eller kvaliteten af ​​en universitetsuddannelse.

"Automatiserede systemer bliver stadig mere komplekse, og de er ofte svære at forstå for lægfolk og for de mennesker, der træffes beslutninger om, "Siger Smith.

Problemet med selvopfyldende forudsigelser

"Samspillet mellem algoritmen og menneskelig adfærd er sådan, at hvis du opretter en algoritme og lader den køre, det kan skabe et andet samfund, fordi mennesker interagerer med det, "siger Canetti." Så du skal være meget forsigtig med, hvordan du designer algoritmen. "

Det problem, siger forskerne, vil blive værre, da fremtidige algoritmer bruger flere output fra tidligere algoritmer som input.

"Når du har fået det samme computerprogram til at træffe mange beslutninger, eventuelle forudindtagelser gengives mange gange i større skala, "Smith siger." Du får potentialet for et bredt samfundsmæssigt skifte forårsaget af et computerprogram. "

Men hvordan kan en algoritme præcist, som grundlæggende er en matematisk funktion, være forudindtaget?

Scheffler foreslår to måder:"En måde er med forudindtaget data, "siger hun." Hvis din algoritme er baseret på historiske data, det vil snart lære, at en bestemt institution foretrækker at acceptere mænd frem for kvinder. En anden måde er, at der er forskellige nøjagtigheder på forskellige dele af befolkningen, så måske er en algoritme virkelig god til at finde ud af, om hvide mennesker fortjener et lån, men det kan have høj fejlprocent for mennesker, der ikke er hvide. Det kunne have 90 procent nøjagtighed på et sæt af befolkningen og 50 procent på et andet sæt. "

"Det er det, vi kigger på, "siger Smith." Vi spørger 'Hvordan laver systemet fejl?' og 'Hvordan er disse fejl spredt over forskellige dele af befolkningen?' "

Den virkelige virkning af algoritmisk bias

I maj 2016, journalister fra ProPublica, et nonprofit undersøgelsesredaktion, undersøgte nøjagtigheden af ​​COMPAS, et af flere algoritmiske værktøjer, der bruges af retssystemer til at forudsige tilbagefald, eller sandsynligheden for, at en kriminel tiltalt begår en anden forbrydelse. De første fund var ikke betryggende.

Når ProPublica -forskere sammenlignede værktøjets forudsagte risiko for tilbagefald med faktiske tilbagefaldshastigheder i løbet af de følgende to år, de fandt ud af, generelt, COMPAS fik tingene rigtigt 61 procent af tiden. De fandt også ud af, at forudsigelser om voldelig recidiv kun var korrekte 20 procent af tiden.

Mere bekymrende, de fandt ud af, at sorte tiltalte var langt mere tilbøjelige end hvide tiltalte til at blive fejlagtigt anset for mere tilbøjelige til at begå kriminalitet, og hvide tiltalte var mere tilbøjelige end sorte tiltalte til at blive fejlagtigt anset for lav risiko for tilbagefald. Ifølge ProPublicas artikel, dette var en klar demonstration af bias ved algoritmen.

Som svar, Northpointe Inc., skaberen af ​​COMPAS, offentliggjorde en anden undersøgelse, der argumenterede for, at COMPAS -algoritmen faktisk er fair i henhold til en anden statistisk måling af bias:kalibrering. Northpointe's software er meget udbredt, og ligesom mange algoritmiske værktøjer, dets beregninger er proprietære, men virksomheden sagde til ProPublica, at dens formel til at forudsige, hvem der vil gentage sig, stammer fra svar på 137 spørgsmål, hvis svar enten kommer fra tiltalte eller fra straffeattester.

Northpointe's undersøgelse viste, at for hver risikoscore, brøkdelen af ​​hvide tiltalte, der modtog denne score og gentog (ud af alle hvide tiltalte, der modtog denne score) svarer nogenlunde til den brøkdel af sorte tiltalte, der modtog denne score og gentog, ud af alle sorte tiltalte, der modtog denne score.

"ProPublica og Northpointe kom til forskellige konklusioner i deres analyser af COMPAS 'fairness. Men begge deres metoder var matematisk forsvarlige - oppositionen lå i deres forskellige definitioner af retfærdighed, "Siger Scheffler.

Konklusionen er, at enhver ufuldkommen forudsigelsesmekanisme (enten algoritmisk eller menneskelig) vil være forudindtaget i henhold til mindst en af ​​de to tilgange:den fejlbalancerende tilgang, der bruges af ProPublica, og kalibreringsmetoden, som Northpointe foretrækker.

At overvinde algoritmisk bias

Når det kom til at løse problemet med algoritmisk bias, BU-MIT-forskergruppen skabte en metode til at identificere den delmængde af befolkningen, som systemet ikke kan dømme retfærdigt, og sende deres anmeldelse til et andet system, der er mindre tilbøjelige til at være forudindtaget. Denne adskillelse garanterer, at metoden tager fejl på mere afbalancerede måder med hensyn til de personer, for hvem den træffer en beslutning.

Og mens forskerne fandt mange situationer, hvor den løsning syntes at fungere godt, de er fortsat bekymrede over, hvordan de forskellige systemer ville fungere sammen. "Der er mange forskellige mål for retfærdighed, "siger Scheffler, "og der er afvejninger mellem dem. Så i hvilket omfang er de to systemer forenelige med forestillingen om retfærdighed, vi ønsker at opnå?"

"Hvad sker der med de mennesker, hvis beslutninger ville blive udskudt, har virkelig indflydelse på, hvordan vi ser på systemet som helhed, "siger Smith." På dette tidspunkt, vi vikler stadig hovedet omkring, hvad de forskellige løsninger ville betyde. "

Stadig, siger Canetti, forskningen peger på en mulig vej ud af den statistiske bias -gåde, en, der kunne muliggøre design af algoritmer, der minimerer bias. Den udfordring, han siger, vil kræve ekspertise fra mange discipliner.