Algoritmer er konsekvent mere præcise end mennesker til at forudsige tilbagefald, undersøgelse siger

I en undersøgelse med potentielt vidtrækkende konsekvenser for strafferet i USA, et team af forskere i Californien har fundet ud af, at algoritmer er betydeligt mere præcise end mennesker til at forudsige, hvilke tiltalte der senere vil blive anholdt for en ny forbrydelse.

Når man kun vurderer en håndfuld variabler i et kontrolleret miljø, selv utrænede mennesker kan matche den forudsigelige færdighed i sofistikerede risikovurderingsinstrumenter, siger den nye undersøgelse af forskere ved Stanford University og University of California, Berkeley.

Men de virkelige strafferetlige rammer er ofte langt mere komplekse, og når et større antal faktorer er nyttige til at forudsige tilbagefald, de algoritme-baserede værktøjer fungerede langt bedre end mennesker. I nogle tests, værktøjerne nærmede sig 90% nøjagtighed til at forudsige, hvilke tiltalte der kunne blive anholdt igen, sammenlignet med omkring 60% for menneskelig forudsigelse.

"Risikovurdering har længe været en del af beslutningstagningen i det strafferetlige system, "sagde Jennifer Skeem, en psykolog, der har specialiseret sig i strafferet ved UC Berkeley. "Selvom den seneste debat har rejst vigtige spørgsmål om algoritme-baserede værktøjer, vores forskning viser, at i sammenhænge, ​​der ligner virkelige strafferetlige rammer, risikovurderinger er ofte mere præcise end menneskelig vurdering ved forudsigelse af tilbagefald. Det er i overensstemmelse med en lang række forskninger, der sammenligner mennesker med statistiske værktøjer. "

"Validerede risikovurderingsinstrumenter kan hjælpe fagfolk i retsvæsenet med at træffe mere informerede beslutninger, "sagde Sharad Goel, en beregningsmæssig samfundsforsker ved Stanford University. "For eksempel, disse værktøjer kan hjælpe dommere med at identificere og potentielt frigive mennesker, der udgør en lille risiko for den offentlige sikkerhed. Men, som ethvert værktøj, risikovurderingsinstrumenter skal kombineres med sund politik og menneskeligt tilsyn for at understøtte en fair og effektiv strafferetlig reform. "

Avisen - "Grænserne for menneskelige forudsigelser om tilbagefald" - var planlagt til offentliggørelse 14. februar, 2020, i Videnskab fremskridt . Skeem præsenterede forskningen den 13. februar i en nyheds briefing på det årlige møde i American Association for the Advancement of Science (AAAS) i Seattle, Wash. Til hende kom to medforfattere:ph.d. kandidat Jongbin Jung og ph.d. kandidat Zhiyuan "Jerry" Lin, der begge studerede computational social science på Stanford.

Forskningsresultaterne er vigtige, da USA debatterer, hvordan man skal balancere de behov, samfund har for sikkerhed, samtidig med at de fængslingsrater, der er den højeste af enhver nation i verden, reduceres - og uforholdsmæssigt påvirker afroamerikanere og farvesamfund.

Hvis brugen af ​​avancerede risikovurderingsværktøjer fortsætter og forbedres, der kunne forfine kritisk vigtige beslutninger, som retsvæsenets fagfolk dagligt træffer:Hvilke personer kan rehabiliteres i samfundet, frem for i fængsel? Som kunne gå til fængsler med lav sikkerhed, og hvilke til højsikkerhedswebsteder? Og hvilke fanger kan trygt frigives til samfundet på prøveløsladelse?

Evalueringsværktøjer drevet af algoritmer bruges i vid udstrækning i USA, på så forskellige områder som lægehjælp, bank- og universitetsoptagelser. De har længe været brugt i strafferet, hjælpe dommere og andre med at afveje data ved at træffe deres beslutninger.

Men i 2018, forskere ved Dartmouth University rejste spørgsmål om nøjagtigheden af ​​sådanne værktøjer i strafferetlige rammer. I en undersøgelse, de samlede 1, 000 korte vignetter af kriminelle tiltalte, med oplysninger hentet fra en meget udbredt risikovurdering kaldet Correctional Offender Management Profiling for Alternative Sanctions (COMPAS).

Vignetterne indeholdt hver fem risikofaktorer for recidiv:individets køn, alder, den aktuelle straffesag, og antallet af tidligere voksne og unge lovovertrædelser. Forskerne brugte derefter Amazons Mechanical Turk -platform til at rekruttere 400 frivillige til at læse vignetterne og vurdere, om hver tiltalte ville begå en anden forbrydelse inden for to år. Efter at have gennemgået hver vignet, de frivillige fik at vide, om deres evaluering nøjagtigt forudsagde forsøgspersonens tilbagefald.

Både personerne og algoritmen var præcise lidt mindre end to tredjedele af tiden.

Disse resultater, konkluderede Dartmouth -forfatterne, skabe tvivl om værdien af ​​risikovurderingsinstrumenter og algoritmisk forudsigelse.

Undersøgelsen genererede højt profileret nyhedsdækning-og sendte en bølge af tvivl gennem det amerikanske strafferetlige reformsamfund. Hvis sofistikerede værktøjer ikke var bedre end folk til at forudsige, hvilke tiltalte der ville fornærme igen, nogle sagde, så var det lidt nyttigt at bruge algoritmerne, hvilket måske kun forstærker racemæssig skævhed ved strafudmåling. Nogle argumenterede for, at sådanne dybtgående beslutninger skulle træffes af mennesker, ikke computere.

Kæmper med "støj" i komplekse beslutninger

Men da forfatterne til den nye undersøgelse i Californien vurderede yderligere datasæt og flere faktorer, de konkluderede, at risikovurderingsværktøjer kan være meget mere præcise end mennesker i vurderingen af ​​potentiale for tilbagefald.

Undersøgelsen replikerede Dartmouth -fundene, der havde været baseret på et begrænset antal faktorer. Imidlertid, den information, der er tilgængelig i justitsindstillinger, er langt mere rig - og ofte mere tvetydig.

"Undersøgelsesrapporter før dom, advokat- og offerpåvirkningserklæringer, og en persons adfærd tilføjer alle komplekse, inkonsekvent, risiko-irrelevant, og potentielt forudindtaget information, "forklarer den nye undersøgelse.

Forfatternes hypotese:Hvis forskningsevalueringer fungerer i en virkelighedens verden, hvor risikorelaterede oplysninger er komplekse og "støjende, "så ville avancerede risikovurderingsværktøjer være mere effektive end mennesker til at forudsige, hvilke kriminelle der ville fornærme igen.

For at teste hypotesen, de udvidede deres undersøgelse ud over COMPAS til at omfatte andre datasæt. Ud over de fem risikofaktorer, der blev brugt i Dartmouth -undersøgelsen, de tilføjede 10 mere, herunder beskæftigelsesstatus, stofbrug og mental sundhed. De udvidede også metoden:I modsætning til Dartmouth -undersøgelsen, i nogle tilfælde ville de frivillige ikke blive fortalt efter hver evaluering, om deres forudsigelser var korrekte. Sådan feedback er ikke tilgængelig for dommere og andre i retssystemet.

Resultatet:Mennesker klarede "konsekvent dårligere" end risikovurderingsværktøjet i komplekse sager, når de ikke havde umiddelbar feedback til at styre fremtidige beslutninger.

For eksempel, COMPAS forudsagde korrekt tilbagefald 89% af tiden, sammenlignet med 60% for mennesker, der ikke fik feedback fra sag til sag om deres beslutninger. Når flere risikofaktorer blev givet og forudsigende, et andet risikovurderingsværktøj forudsagde nøjagtigt tilbagefald over 80% af tiden, sammenlignet med mindre end 60% for mennesker.

Resultaterne synes at understøtte fortsat brug og fremtidig forbedring af risikovurderingsalgoritmer. Men, som Skeem bemærkede, disse værktøjer har typisk en støtterolle. Den ultimative myndighed ligger hos dommerne, tilsynsførende, klinikere, prøveløsladelseskommissærer og andre, der former afgørelser i det strafferetlige system.