Kan bias i algoritmer hjælpe os med at se vores egne?

Algoritmer skulle gøre vores liv nemmere og mere retfærdigt:hjælpe os med at finde de bedste jobansøgere, hjælpe dommere med upartisk at vurdere risikoen for kaution og kautionsbeslutninger og sikre, at sundhedsydelser leveres til patienterne med det største behov. Nu ved vi dog, at algoritmer kan være lige så partiske som de menneskelige beslutningstagere, de informerer og erstatter.

Hvad hvis det ikke var en dårlig ting?

Ny forskning foretaget af Carey Morewedge, professor i marketing fra Boston University Questrom School of Business og Everett W. Lord Distinguished Faculty Scholar, fandt ud af, at folk genkender flere af deres skævheder i algoritmernes beslutninger, end de gør i deres egne – selv når disse beslutninger er samme. Forskningen, offentliggjort i Proceedings of the National Academy of Sciences , foreslår måder, hvorpå bevidsthed kan hjælpe menneskelige beslutningstagere med at genkende og korrigere for deres forudindtagethed.

"Et socialt problem er, at algoritmer lærer og i stor skala udruller skævheder i de menneskelige beslutninger, som de blev trænet i," siger Morewedge, der også er formand for Questroms marketingafdeling. For eksempel:I 2015 testede Amazon (og skrottede snart) en algoritme til at hjælpe sine ansættelsesledere med at filtrere jobansøgere. De fandt ud af, at programmet boostede CV'er, det opfattede som at komme fra mandlige ansøgere, og nedgraderede dem fra kvindelige ansøgere, et klart tilfælde af kønsbias.

Men samme år var kun 39 procent af Amazons arbejdsstyrke kvinder. Hvis algoritmen var blevet trænet på Amazons eksisterende ansættelsesdata, er det ikke underligt, at den prioriterede mandlige ansøgere – det var Amazon allerede. Hvis dens algoritme havde en kønsbias, "er det fordi Amazons ledere var partiske i deres ansættelsesbeslutninger," siger Morewedge.

"Algorithmer kan kodificere og forstærke menneskelig bias, men algoritmer afslører også strukturelle skævheder i vores samfund," siger han. "Mange skævheder kan ikke observeres på individuelt niveau. Det er svært at bevise bias, for eksempel i en enkelt ansættelsesbeslutning. Men når vi sammenlægger beslutninger inden for og på tværs af personer, som vi gør, når vi bygger algoritmer, kan det afsløre strukturelle skævheder i vores systemer og organisationer."

Morewedge og hans samarbejdspartnere – Begüm Çeliktutan og Romain Cadario, begge ved Erasmus Universitet i Holland – udtænkte en række eksperimenter designet til at pirre folks sociale skævheder (herunder racisme, sexisme og alderisme).

Holdet sammenlignede derefter forskningsdeltageres erkendelse af, hvordan disse skævheder farvede deres egne beslutninger kontra beslutninger truffet af en algoritme. I eksperimenterne så deltagerne nogle gange beslutningerne fra rigtige algoritmer. Men der var en hage:andre gange var de beslutninger, der blev tilskrevet algoritmer, faktisk deltagernes valg, i forklædning.

Over hele linjen var deltagerne mere tilbøjelige til at se bias i de beslutninger, de troede kom fra algoritmer, end i deres egne beslutninger. Deltagerne så også lige så meget skævhed i algoritmernes beslutninger, som de gjorde i andre menneskers beslutninger. (Folk genkender generelt bedre bias hos andre end hos dem selv, et fænomen kaldet bias blind plet.) Deltagerne var også mere tilbøjelige til at korrigere for bias i disse beslutninger efter kendsgerningen, et afgørende skridt for at minimere bias i fremtiden.

Algorithmer fjerner den bias blinde plet

Forskerne kørte sæt af deltagere, mere end 6.000 i alt, gennem ni eksperimenter. I den første bedømte deltagerne et sæt Airbnb-fortegnelser, som indeholdt nogle få oplysninger om hver enkelt opslag:dens gennemsnitlige stjernebedømmelse (på en skala fra 1 til 5) og værtens navn. Forskerne tildelte disse fiktive lister til værter med navne, der var "særskilt afroamerikanske eller hvide", baseret på tidligere forskning, der identificerede racemæssig skævhed, ifølge papiret. Deltagerne vurderede, hvor sandsynligt det var, at de ville leje hver bolig.

I anden halvdel af eksperimentet blev deltagerne fortalt om et forskningsresultat, der forklarede, hvordan værtens race kunne påvirke vurderingerne. Derefter viste forskerne deltagerne et sæt vurderinger og bad dem vurdere (på en skala fra 1 til 7), hvor sandsynligt det var, at bias havde påvirket vurderingerne.

Deltagerne så enten deres egen vurdering reflekteret tilbage til dem, deres egen vurdering under dække af en algoritmes, deres egen vurdering under dække af en andens eller en faktisk algoritmevurdering baseret på deres præferencer.

Forskerne gentog denne opsætning flere gange og testede for race, køn, alder og tiltrækningskraft i profilerne af Lyft-chauffører og Airbnb-værter. Hver gang var resultaterne konsistente. Deltagere, der troede, de så en algoritmes vurderinger eller en andens vurderinger (uanset om de faktisk var det eller ej), var mere tilbøjelige til at opfatte bias i resultaterne.

Morewedge tilskriver dette de forskellige beviser, vi bruger til at vurdere bias i andre og bias i os selv. Da vi har indsigt i vores egen tankeproces, siger han, er vi mere tilbøjelige til at spore tilbage gennem vores tænkning og beslutte, at den ikke var forudindtaget, måske drevet af en anden faktor, der gik ind i vores beslutninger. Når vi analyserer andre menneskers beslutninger, er det eneste, vi skal vurdere, resultatet.

"Lad os sige, at du organiserer et panel af talere til en begivenhed," siger Morewedge. "Hvis alle disse talere er mænd, kan du sige, at resultatet ikke var resultatet af kønsbias, fordi du ikke engang tænkte på køn, da du inviterede disse talere. Men hvis du deltog i denne begivenhed og så et panel med alle -mandlige talere, er du mere tilbøjelig til at konkludere, at der var kønsbias i udvælgelsen."

Faktisk fandt forskerne i et af deres eksperimenter, at deltagere, der var mere tilbøjelige til denne bias blinde plet, også var mere tilbøjelige til at se bias i beslutninger, der tilskrives algoritmer eller andre end i deres egne beslutninger. I et andet eksperiment opdagede de, at folk lettere så deres egne beslutninger påvirket af faktorer, der var ret neutrale eller rimelige, såsom en Airbnb-værts stjernebedømmelse, sammenlignet med en fordomsfuld bias, såsom race - måske fordi de indrømmede at foretrække en fem- stjerneudlejning er ikke så truende for ens selvfølelse, eller hvordan andre kan se os, foreslår Morewedge.

Algorithmer som spejle:Se og korrigere menneskelig skævhed

I forskernes sidste eksperiment gav de deltagerne en chance for at rette skævhed i enten deres vurderinger eller vurderingerne af en algoritme (rigtig eller ej). Folk var mere tilbøjelige til at rette algoritmens beslutninger, hvilket reducerede den faktiske skævhed i dens vurderinger.

Dette er det afgørende skridt for Morewedge og hans kolleger, siger han. For enhver, der er motiveret til at reducere bias, er det første skridt at kunne se det. Deres forskning viser, at algoritmer kan bruges som spejle – en måde at identificere skævhed på, selv når folk ikke kan se det i sig selv.

"Lige nu synes jeg, at litteraturen om algoritmisk bias er dyster," siger Morewedge. "Meget af det siger, at vi skal udvikle statistiske metoder til at reducere fordomme i algoritmer. Men en del af problemet er, at fordomme kommer fra mennesker. Vi bør arbejde for at gøre algoritmer bedre, men vi bør også arbejde på at gøre os selv mindre forudindtaget.

"Det spændende ved dette arbejde er, at det viser, at algoritmer kan kodificere eller forstærke menneskelige skævheder, men algoritmer kan også være værktøjer til at hjælpe folk med bedre at se deres egne skævheder og rette dem," siger han. "Algorithmer er et tveægget sværd. De kan være et værktøj, der forstærker vores værste tendenser. Og algoritmer kan være et værktøj, der kan hjælpe med at forbedre os selv."

Flere oplysninger: Carey K. Morewedge et al., Folk ser mere af deres skævheder i algoritmer, Proceedings of the National Academy of Sciences (2024). DOI:10.1073/pnas.2317602121. doi.org/10.1073/pnas.2317602121

Journaloplysninger: Proceedings of the National Academy of Sciences

Leveret af Boston University