Amazons sexistiske ansættelsesalgoritme kunne stadig være bedre end et menneske

Amazon besluttede at lukke sit rekrutteringsværktøj til eksperimentel kunstig intelligens (AI) ned efter at have opdaget, at det diskriminerede kvinder. Virksomheden skabte værktøjet til at trawle nettet og spotte potentielle kandidater, bedømme dem fra én til fem stjerner. Men algoritmen lærte systematisk at nedgradere kvinders CV'er til tekniske job som softwareudvikler.

Selvom Amazon er på forkant med AI-teknologi, virksomheden kunne ikke finde en måde at gøre sin algoritme kønsneutral. Men virksomhedens fiasko minder os om, at kunstig intelligens udvikler bias fra en række forskellige kilder. Selvom der er en almindelig overbevisning om, at algoritmer formodes at blive bygget uden nogen af ​​de skævheder eller fordomme, der farver menneskelig beslutningstagning, sandheden er, at en algoritme utilsigtet kan lære bias fra en række forskellige kilder. Alt fra de data, der blev brugt til at træne det, til de mennesker, der bruger det, og endda tilsyneladende uafhængige faktorer, kan alle bidrage til AI bias.

AI-algoritmer er trænet til at observere mønstre i store datasæt for at hjælpe med at forudsige resultater. I Amazons tilfælde, dens algoritme brugte alle CV'er, der blev indsendt til virksomheden over en ti-årig periode, for at lære at finde de bedste kandidater. I betragtning af den lave andel af kvinder, der arbejder i virksomheden, som i de fleste teknologivirksomheder, Algoritmen opdagede hurtigt mandlig dominans og troede, at det var en succesfaktor.

Fordi algoritmen brugte resultaterne af sine egne forudsigelser til at forbedre dens nøjagtighed, det satte sig fast i et mønster af sexisme mod kvindelige kandidater. Og da de data, der blev brugt til at træne dem, på et tidspunkt blev skabt af mennesker, det betyder, at algoritmen også har arvet uønskede menneskelige træk, som partiskhed og diskrimination, som også har været et problem i forbindelse med rekruttering i årevis.

Nogle algoritmer er også designet til at forudsige og levere, hvad brugerne ønsker at se. Dette ses typisk på sociale medier eller i online annoncering, hvor brugere får vist indhold eller reklamer, som en algoritme tror, ​​de vil interagere med. Lignende mønstre er også blevet rapporteret i rekrutteringsbranchen.

En rekrutterer rapporterede, at mens han brugte et professionelt socialt netværk til at finde kandidater, AI'en lærte at give ham resultater, der ligner de profiler, han oprindeligt engagerede sig i. Som resultat, Hele grupper af potentielle kandidater blev systematisk helt fjernet fra rekrutteringsprocessen.

Imidlertid, bias opstår også af andre ikke-relaterede årsager. En nylig undersøgelse af, hvordan en algoritme leverede annoncer, der promoverede STEM-job, viste, at mænd var mere tilbøjelige til at blive vist annoncen, ikke fordi mænd var mere tilbøjelige til at klikke på det, men fordi kvinder er dyrere at annoncere for. Da virksomheder prissætter annoncer, der er målrettet kvinder i højere grad (kvinder driver 70-80 % af alle forbrugerkøb), Algoritmen valgte at levere annoncer mere til mænd end til kvinder, fordi den var designet til at optimere annoncelevering og samtidig holde omkostningerne lave.

Men hvis en algoritme kun afspejler mønstre i de data, vi giver den, hvad dens brugere kan lide, og den økonomiske adfærd, der forekommer på dets marked, er det ikke uretfærdigt at give den skylden for at fastholde vores værste egenskaber? Vi forventer automatisk, at en algoritme træffer beslutninger uden nogen form for diskrimination, når dette sjældent er tilfældet med mennesker. Selvom en algoritme er forudindtaget, det kan være en forbedring i forhold til den nuværende status quo.

For at få fuldt udbytte af at bruge AI, det er vigtigt at undersøge, hvad der ville ske, hvis vi tillod AI at træffe beslutninger uden menneskelig indblanding. En undersøgelse fra 2018 undersøgte dette scenarie med kautionsafgørelser ved hjælp af en algoritme, der er trænet på historiske kriminelle data til at forudsige sandsynligheden for, at kriminelle begår gentagelser. I én projektion, forfatterne var i stand til at reducere kriminalitetsraterne med 25 %, mens de reducerede tilfælde af diskrimination hos fængslede indsatte.

Alligevel ville de gevinster, der blev fremhævet i denne forskning, kun opstå, hvis algoritmen faktisk tog alle beslutninger. Dette ville næppe ske i den virkelige verden, da dommere sandsynligvis ville foretrække at vælge, om de ville følge algoritmens anbefalinger eller ej. Selvom en algoritme er godt designet, det bliver overflødigt, hvis folk vælger ikke at stole på det.

Mange af os er allerede afhængige af algoritmer til mange af vores daglige beslutninger, fra hvad du kan se på Netflix eller købe fra Amazon. Men forskning viser, at folk mister tilliden til algoritmer hurtigere end mennesker, når de ser dem begå en fejl, selv når algoritmen generelt klarer sig bedre.

For eksempel, hvis din GPS foreslår, at du bruger en alternativ rute for at undgå trafik, der ender med at tage længere tid end forudsagt, du vil sandsynligvis stoppe med at stole på din GPS i fremtiden. Men hvis det var din beslutning at tage den alternative vej, det er usandsynligt, at du holder op med at stole på din egen dømmekraft. En opfølgende undersøgelse om at overvinde algoritmeaversion viste endda, at folk var mere tilbøjelige til at bruge en algoritme og acceptere dens fejl, hvis de fik mulighed for selv at ændre algoritmen, selvom det betød at få det til at fungere ufuldkomment.

Mens mennesker hurtigt kan miste tilliden til fejlbehæftede algoritmer, mange af os har en tendens til at stole mere på maskiner, hvis de har menneskelige træk. Ifølge forskning i selvkørende biler, mennesker var mere tilbøjelige til at stole på bilen og troede, at den ville fungere bedre, hvis køretøjets udvidede system havde et navn, et bestemt køn, og en menneskeklingende stemme. Imidlertid, hvis maskiner bliver meget menneskelignende, men ikke helt, folk finder dem ofte uhyggelige, hvilket kan påvirke deres tillid til dem.

Selvom vi ikke nødvendigvis værdsætter det billede, som algoritmer kan afspejle af vores samfund, det ser ud til, at vi stadig er ivrige efter at leve med dem og få dem til at ligne og opføre sig som os. Og hvis det er tilfældet, algoritmer kan vel også lave fejl?

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.