AI-brug kan maskere raceforskelle i kredit, udlån, undersøgelse tyder på

Ved lov, Kredit- og lånebeslutninger kan ikke diskriminere på grundlag af race eller føre til resultater, der afviger væsentligt fra race til race. Men for at sikre, at de ikke diskriminerer, banker og andre långivere har ikke lov til at spørge om race på de fleste applikationer. Dette gør det udfordrende for revisorer at sikre sig, at kreditbeslutninger er retfærdige.

For at vurdere raceforskelle i lånebeslutninger, långivere eller revisorer skal udlede ansøgernes løb, generelt ved hjælp af et system - kendt som en proxy - der gætter ansøgeres løb ud fra det, de ved, såsom deres kvarterer og efternavne.

Men disse fuldmagter – inklusive en metode, der bruges af Consumer Financial Protection Bureau til at revidere långivere – kan give meget forskellige resultater afhængigt af små ændringer i, hvordan de gætter ansøgernes racer, ifølge en ny Cornell-ledet undersøgelse.

"Det er bekymrende, at disse modeller bliver brugt til at afgøre, om finansielle institutioner overholder loven, sagde Madeleine Udell, Richard og Sybil Smith Sesquicentennial Fellow og assisterende professor ved School of Operations Research and Information Engineering. "De vurderer tydeligvis ikke, hvad de skal."

Deres papir, "Retfærdighed under ubevidsthed:vurdering af ulighed, når beskyttet klasse ikke observeres, "vil blive præsenteret på ACM Conference on Fairness, Ansvarlighed og gennemsigtighed, 29.-31. januar i Atlanta. Cornell Tech doktorand Xiaojie Mao er hovedforfatteren. Medforfattere omfattede Udell; Nathan Kallus, assisterende professor i operationsforskning og informationsteknik ved Cornell Tech; og finansindustriens dataforskere Jiahao Chen og Geoffry Svacha.

Forståelse af risikoen for diskrimination ved brug af kunstig intelligens er særlig vigtig, da finansielle institutioner i stigende grad er afhængige af maskinlæring til udlånsbeslutninger. Maskinlæringsmodeller kan analysere mængder af data for at nå frem til relativt nøjagtige forudsigelser, men deres operationer er uigennemsigtige, gør det vanskeligt at sikre retfærdighed.

"Hvordan kan en computer være racistisk, hvis du ikke indtaster race? det kan, og en af ​​de største udfordringer, vi står over for i de kommende år, er mennesker, der bruger maskinlæring med utilsigtede dårlige konsekvenser, der kan føre os til øget polarisering og ulighed, " sagde Kallus. "Der er sket mange fremskridt inden for maskinlæring og kunstig intelligens, og vi skal være virkelig ansvarlige i vores brug af det."

Race er en af ​​flere karakteristika, der er beskyttet af stats- og føderal lovgivning; andre omfatter alder, køn og handicap status.

Forskerne brugte data fra realkreditlån - den ene type forbrugslån, der inkluderer race på ansøgninger - til at teste nøjagtigheden af ​​Bayesian Improved Surname Geocoding (BISG) revisionssystem. De fandt dens resultater ofte enten undervurderede eller overvurderede racemæssige uoverensstemmelser, afhængig af flere faktorer. Hvis man antager race baseret på folketællingerne, hvor ansøgere bor, sletter sorte ansøgere, der bor i hovedsageligt hvide kvarterer, og hvide ansøgere, der bor i hovedsageligt sorte kvarterer.

BISG-modellen estimerer sandsynligheden for, at nogen er en bestemt race, og ved udførelse af beregninger kan en bruger indstille en minimumssandsynlighed – f.eks. vælger at bruge eksempler, hvor sandsynligheden for et givet løb er 80 procent eller mere. Men forskelle i den mindste sandsynlighed gav uventet store variationer i resultaterne, fandt forskerne.

"Afhængig af hvilken tærskel du valgte, du ville få meget forskellige svar på, hvor fair din kreditprocedure var, " sagde Udell.

Forskernes resultater kaster ikke kun lys over BISG's nøjagtighed, de kunne hjælpe udviklere med at forbedre maskinlæringsmodellerne, der træffer kreditbeslutninger. Bedre modeller kunne hjælpe banker med at træffe mere informerede beslutninger, når de godkender eller afviser lån, hvilket kan få dem til at give kredit til kvalificerede, men lavere indkomstansøgere.

"Du kan finde ud af, hvem der faktisk vil være standard eller ej på en fair måde, " sagde Kallus. "Det, vi ønsker at gøre, er at sikre, at vi sætter disse begrænsninger på de maskinlæringssystemer, vi bygger og træner, så vi forstår, hvad det vil sige at være retfærdig, og hvordan vi kan sikre, at det er retfærdigt fra starten."