Hvordan computeralgoritmer hjælper med at sprede racemæssig skævhed i amerikansk sundhedspleje, og hvordan de kan hjælpe med at rette op på det

Folk kan være partiske, selv uden at vide det, men computerprogrammer burde ikke have nogen grund til at diskriminere sorte patienter, når de forudsiger deres sundhedsbehov. Ret?

Forkert, ny forskning tyder på.

Forskere, der studerer en udbredt algoritme, der er typisk for den slags sygeforsikringsselskaber bruger til at træffe afgørende beslutninger om pleje for millioner af mennesker, har opdaget betydelige beviser på racemæssig skævhed, når det kommer til at forudsige sundhedsrisici for sorte patienter.

Fundene, beskrevet torsdag i journalen Videnskab , har vidtrækkende konsekvenser for amerikanernes sundhed og velfærd, efterhånden som vi bliver mere og mere afhængige af computere for at omdanne rå data til nyttig information. Resultaterne peger også på roden af ​​problemet - og det er ikke computerprogrammet.

"Vi skal ikke skyde skylden på algoritmen, "sagde studieleder Dr. Ziad Obermeyer, en maskinlærings- og sundhedsforsker ved University of California, Berkeley. "Vi burde bebrejde os selv, fordi algoritmen bare lærer af de data, vi giver den."

En algoritme er et sæt instruktioner, der beskriver, hvordan man udfører en bestemt opgave. En opskrift på brownies er en algoritme. Det samme er listen over ture, du skal tage for at køre til din vens fest.

En computeralgoritme er ikke anderledes, bortset fra at det er skrevet i kode i stedet for ord. I dag, de bruges til at målrette online annoncer, genkende ansigter og finde mønstre i store datasæt - forhåbentlig gør verden til en mere effektiv, forståeligt sted.

Men mens algoritmer er blevet mere kraftfulde og allestedsnærværende, Der er kommet beviser på, at de afspejler og endda forstærker skævheder og racisme i den virkelige verden.

En algoritme, der blev brugt til at bestemme fængselsstraffe, viste sig at være racemæssigt partisk, fejlagtigt forudsige en højere recidivrisiko for sorte tiltalte og en lavere risiko for hvide tiltalte. Ansigtsgenkendelsessoftware har vist sig at have både race- og kønsforstyrrelse, præcist kun at identificere en persons køn blandt hvide mænd. Onlineannoncer, der vises med Googles søgeresultater, har vist sig at vise højindkomstjob til mænd langt oftere end til kvinder.

Obermeyer sagde, at det næsten var tilfældigt, at han og hans kolleger faldt over den skævhed, der var indlejret i den sundhedsalgoritme, de studerede.

Algoritmen bruges til at identificere patienter med helbredstilstande, der sandsynligvis vil føre til mere alvorlige komplikationer og højere omkostninger senere hen. Et stort akademisk hospital havde købt det for at hjælpe med at udskille patienter, der var kandidater til et plejekoordineringsprogram, som giver adgang til tjenester såsom fremskyndede lægebesøg og et team af sygeplejersker, der kan foretage hjemmebesøg eller genopfylde recepter.

"Det er lidt ligesom et VIP-program for folk, der virkelig har brug for ekstra hjælp til deres helbred, " sagde Obermeyer.

Målet er at tage sig af disse patienter, før deres tilstand forværres. Det holder dem ikke kun sundere i længden, det holder omkostningerne nede for sundhedssystemet.

Disse former for algoritmer er ofte proprietære, "gør det vanskeligt for uafhængige forskere at dissekere dem, " skrev undersøgelsens forfattere. Men i dette tilfælde, sundhedssystemet leverede det gerne, sammen med data, der ville give forskere mulighed for at se, om algoritmen præcist forudsagde patienternes behov.

Forskerne bemærkede noget mærkeligt:​​Sorte patienter, der var blevet tildelt den samme højrisikoscore som hvide patienter, var langt mere tilbøjelige til at se deres helbred forværres i løbet af det følgende år.

"Ved et givet risikoniveau set af algoritmen, sorte patienter endte med at blive meget sygere end hvide patienter, " sagde Obermeyer.

Dette gav ingen mening, han sagde, så forskerne fokuserede på uoverensstemmelsen. De analyserede sundhedsdata fra 6, 079 sorte patienter og 43, 539 hvide patienter og indså, at algoritmen gjorde præcis, hvad den var blevet bedt om.

Problemet var, at de mennesker, der designede det, havde bedt det om at gøre det forkerte.

Systemet evaluerede patienter ud fra de sundhedsomkostninger, de havde, forudsat at hvis deres omkostninger var høje, det var fordi deres behov var høje. Men antagelsen om, at høje omkostninger var en indikator for stort behov, viste sig at være forkert, Obermeyer sagde, fordi sorte patienter typisk får færre sundhedsydelser end hvide patienter, selv når de har det lige så dårligt.

Det betød, at algoritmen fejlagtigt styrede nogle sorte patienter væk fra plejekoordineringsprogrammet.

For at afhjælpe, at raceforskelle kan få procentdelen af ​​sorte patienter, der er indskrevet i det specialiserede plejeprogram til at springe fra 17,7 % til 46,5 %, indså forskerne.

Efter at have identificeret problemet - en forkert menneskelig antagelse - gik forskerne i gang med at løse det. De udviklede en alternativ model, der fokuserede på "undgåelige omkostninger, "såsom nødbesøg og indlæggelser. En anden model fokuseret på sundhed, målt ved antallet af opblussen af ​​kroniske lidelser i løbet af året.

Forskerne delte deres opdagelse med producenten af ​​algoritmen, som derefter analyserede sit nationale datasæt med næsten 3,7 millioner kommercielt forsikrede patienter, bekræfter resultaterne. Sammen, de eksperimenterede med en model, der kombinerede sundhedsforudsigelse med prisforudsigelse, i sidste ende reducere bias med 84%.

Dr. Karen Joynt Maddox, en kardiolog og sundhedspolitisk forsker ved Washington University of St. Louis, roste værket som "en tankevækkende måde at se på dette virkelig vigtige nye problem."

"Vi sætter i stigende grad stor tillid til disse algoritmer og disse sorte boks-forudsigelsesmodeller for at fortælle os, hvad vi skal gøre, hvordan man opfører sig, hvordan man behandler patienter, hvordan man målretter interventioner, " sagde Joynt Maddox, der ikke var involveret i undersøgelsen. "Det er foruroligende, på en måde, at tænke over, hvorvidt disse modeller, som vi bare tager for givet og bruger, systematisk forfordrer bestemte grupper."

Fejlen i dette tilfælde lå ikke i selve algoritmen, men med de antagelser, der blev gjort under udformningen af ​​det, hun var hurtig til at tilføje.

Obermeyer sagde, at de valgte ikke at udpege det firma, der lavede algoritmen, eller det sundhedssystem, der brugte den. Han sagde, at de håbede at understrege rollen af ​​en hel gruppe af risikoforudsigelsesalgoritmer, der, efter branchevurderinger, bruges til at evaluere cirka 200 millioner mennesker om året.

Nogle mennesker har reageret på opdagelser af algoritmisk bias ved at foreslå, at algoritmerne slettes helt - men algoritmerne er ikke problemet, sagde Sendhil Mullainathan, en beregningsmæssig adfærdsforsker ved University of Chicago og undersøgelsens seniorforfatter.

Faktisk, når de er ordentligt studeret og behandlet, de kan være en del af løsningen.

"De afspejler skævhederne i dataene, som er vores skævheder, "Mullainathan sagde. "Nu, hvis du kan finde ud af, hvordan du løser det ... potentialet, som det har til at gøre os uafhængigt, er virkelig stærkt."

En bedre algoritme kan hjælpe med at diagnosticere og behandle virkningerne af raceforskelle i pleje, men det kan ikke "kurere" forskellen i roden af ​​problemet:det faktum, at der bruges færre dollars på pleje af sorte patienter, gennemsnitlig, end på hvide patienter, erkendte han.

Disse omkostningsforskelle opstår sandsynligvis af flere årsager, undersøgelsens forfattere sagde. Race og diskrimination kan spille en rolle, og selv når de har forsikring, fattigere patienter står over for "væsentlige barrierer for at få adgang til sundhedspleje."

"I det omfang race og socioøkonomisk status er korreleret, disse faktorer vil forskelligt påvirke sorte patienter, " skrev forskerne.

At rette op på disse kilder til ulighed i den virkelige verden udgør en dybere og langt mere kompliceret udfordring.

Ultimativt, Obermeyer sagde, "det er meget nemmere at rette bias i algoritmer end hos mennesker."

©2019 Los Angeles Times
Distribueret af Tribune Content Agency, LLC.