Risikoen for diskrimination ved algoritme

Ikke kun virksomheder, men statsinstitutioner stoler i stigende grad på automatiserede beslutninger fra algoritme-baserede systemer. Deres effektivitet sparer tid og penge, men indebærer også mange risici for, at enkeltpersoner eller befolkningsgrupper diskrimineres. Dette er resultatet af en undersøgelse foretaget af Institute for Technology Assessment and Systems Analysis (ITAS) ved Karlsruhe Institute of Technology (KIT) på vegne af Federal Anti-Discrimination Agency.

Når der ydes lån, udvælgelse af nye medarbejdere, eller træffe juridiske beslutninger - i et stigende antal sektorer, algoritmer anvendes til at forberede menneskelige beslutninger eller til at træffe disse beslutninger for mennesker. "Desværre, det er ofte en fejl at tro, at dette uundgåeligt fører til mere objektive og mere retfærdige beslutninger, "siger Carsten Orwat fra Institute for Technology Assessment and Systems Analysis (ITAS) of KIT." Situationer bliver særligt kritiske, når algoritmer arbejder med forudindtaget data og er afhængige af kriterier, der burde beskyttes, "siger forfatteren. Disse kriterier omfatter, i særdeleshed, alder, køn, etnisk oprindelse, religion, seksuel orientering, og handicap.

På vegne af Federal Anti-Discrimination Agency, Carsten Orwat undersøgte detaljeret årsagerne til diskrimination, dens indvirkning på samfundet, og fremtidige muligheder for at reducere diskrimineringsrisici. Hans undersøgelse med titlen "Diskriminierungsrisiken durch Verwendung von Algorithmen" (diskrimineringsrisici ved brug af algoritmer) viser 47 eksempler for at illustrere, hvordan algoritmer kan diskriminere mennesker på forskellige måder, og hvordan dette kan opdages og bevises.

Ejendomme, Lån, Retlige spørgsmål, og mere:Forskellige eksempler på diskrimineringsrisici

Som eksempler, Orwat beskriver situationer på ejendoms- og lånemarkederne eller i retssystemet. I USA, for eksempel, flere sager er blevet dokumenteret, hvor algoritmer inden for sociale medier tillod målrettede annoncer at være usynlige for personer beskyttet af "Fair Housing Act, "såsom migranter, mennesker med handicap, eller med ikke-hvid hudfarve, siger forfatteren. I Finland, en bank blev dømt til at betale en bøde, fordi dens algoritme til automatisk ydelse af online lån viste skævhed over for mænd over for kvinder og finsk over modersmål svensk. Denne ulige behandling er forbudt i henhold til finsk lov mod forskelsbehandling. Når man træffer beslutning om tidlige løsladelser fra fængslet, Amerikanske dommere bruger et meget omstridt system, der beregner risikoscorer. Journalister og menneskerettighedsforeninger kritiserer, at dette systematisk overvurderer sorte menneskers risiko for fornyet overgreb.

"Maskinlæringssystemer har ofte problemer, når de trænes med data, der afspejler ulige behandlinger eller stereotyper, "Carsten Orwat forklarer." I dette tilfælde, de genererede algoritmer vil også gøre det. Ved behandling af data, der indeholder vurderinger af mennesker af andre mennesker, ulige behandlinger og diskrimineringer kan endda sprede sig eller stige. "Dette skete i USA i et system til mad- og sundhedskontrol, der var baseret på diskriminerende vurderinger af restauranter.

Anbefalinger af modforanstaltninger

Imidlertid, samfundet må ikke længere acceptere disse ulige behandlinger. Undersøgelsen viser flere muligheder for at modvirke diskrimination ved hjælp af algoritmer. "Forebyggende foranstaltninger synes at være mest rimelige, "Siger Carsten Orwat. Virksomheder kan bede antidiskrimineringsbureauer om at instruere deres personale og it-eksperter og øge deres bevidsthed. Derefter, disse personer vil bruge datasæt, der ikke afspejler nogen diskriminerende praksis eller ulige behandlinger.

Ifølge Orwat, målet er at gøre fremtidige algoritmer "diskrimineringsfrie ved design". Det betyder, at programmer skal kontrolleres under deres første udvikling.

Til sidst, det handler om beskyttelse af samfundets værdier, såsom lighed eller fri udvikling af personligheden. For at garantere dette på trods af den meget hurtige udvikling af "big data" og AI, det er nødvendigt at forbedre lovgivningen mod forskelsbehandling og databeskyttelse på nogle punkter, Orwat påpeger.