Fjernelse af menneskelig bias fra prædiktiv modellering

Prædiktiv modellering formodes at være neutral, en måde at hjælpe med at fjerne personlige fordomme fra beslutningstagning. Men algoritmerne er pakket med de samme skævheder, som er indbygget i de virkelige data, der bruges til at skabe dem. Whartons statistikprofessor James Johndrow har udviklet en metode til at fjerne disse skævheder.

Hans seneste forskning, skrevet sammen med sin kone, statistiker Kristian Lum, "En algoritme til fjernelse af følsomme oplysninger:Anvendelse til raceuafhængig recidivforudsigelse, " fokuserer på at fjerne information om race i data, der forudsiger recidiv, men metoden kan anvendes ud over det strafferetlige system.

"I strafferet, der er meget brug af algoritmer til ting som, hvem der skal stille kaution for at komme ud af fængslet forud for retssagen, kontra hvem der bare bliver sluppet ud efter deres egen erkendelse, for eksempel. Kernen i dette er denne idé om risikovurdering og forsøg på at se, hvem der er mest sandsynlig, for eksempel, at møde op til deres retsdatoer, " siger Johndrow.

"De potentielle problemer med dette er bare, at disse algoritmer er trænet på data, der findes i den virkelige verden. Algoritmerne og deres forudsigelser kan bage i alt det menneskelige, der foregår, så der har været meget mere opmærksomhed på det seneste for at sikre, at visse grupper ikke bliver diskrimineret af disse algoritmer."