Domstolssoftware er muligvis ikke mere præcis end webundersøgelsesdeltagere til at forudsige kriminel risiko

Et meget udbredt computersoftwareværktøj er muligvis ikke mere præcist eller rimeligt til at forudsige gentagen kriminel adfærd end mennesker uden kriminel erfaring. ifølge en undersøgelse fra Dartmouth College.

Dartmouth-analysen viste, at ikke-eksperter, der svarede på en online-undersøgelse, præsterede lige så godt som COMPAS-softwaresystemet (Correctional Offender Management Profiling for Alternative Sanctions) brugt af domstolene til at hjælpe med at bestemme risikoen for recidiv.

Papiret viser også, at selvom COMPAS bruger over hundrede oplysninger til at forudsige, det samme niveau af nøjagtighed kan opnås med kun to variabler - en tiltaltes alder og antallet af tidligere domme.

Ifølge forskningspapiret, COMPAS er blevet brugt til at vurdere over en million lovovertrædere, siden det blev udviklet i 1998, med sin recidivforudsigelseskomponent i brug siden 2000.

Analysen, offentliggjort i tidsskriftet Videnskabens fremskridt , blev udført af det studerende-fakultets forskerteam af Julia Dressel og Hany Farid.

"Det er bekymrende, at utrænede internetarbejdere kan præstere lige så godt som et computerprogram, der bruges til at træffe livsændrende beslutninger om kriminelle tiltalte, sagde Farid, Albert Bradley 1915 tredje århundredes professor i datalogi ved Dartmouth College. "Brugen af ​​sådan software gør muligvis ikke noget for at hjælpe folk, der kunne blive nægtet en ny chance af black-box-algoritmer."

Ifølge avisen, softwareværktøjer bruges i forprøvninger, prøveløsladelse, og idømmelse af domme til at forudsige kriminel adfærd, herunder hvem der sandsynligvis udebliver ved et retsmøde, og hvem der sandsynligvis vil begå gentagelser på et tidspunkt i fremtiden. Tilhængere af sådanne systemer hævder, at big data og avanceret maskinlæring gør disse analyser mere nøjagtige og mindre partiske end forudsigelser foretaget af mennesker.

"Påstande om, at hemmelighedsfulde og tilsyneladende sofistikerede dataværktøjer er mere nøjagtige og retfærdige end mennesker, understøttes simpelthen ikke af vores forskningsresultater, sagde Dressel, som udførte forskningen som en del af hendes bachelorafhandling i datalogi ved Dartmouth.

Forskningspapiret sammenligner den kommercielle COMPAS-software med arbejdere, der er indgået via Amazons online Mechanical Turk-sourcingmarked for at se, hvilken tilgang der er mere præcis og fair, når man skal vurdere muligheden for tilbagefald. Til brug for undersøgelsen, recidiv blev defineret som at begå en forseelse eller forbrydelse inden for to år efter en tiltaltes sidste anholdelse.

Grupper af internetarbejdere så korte beskrivelser, der omfattede en tiltaltes køn, alder, og tidligere kriminel historie. De menneskelige resultater blev derefter sammenlignet med resultater fra COMPAS-systemet, der anvender 137 variabler for hvert individ.

Samlet nøjagtighed var baseret på den hastighed, hvormed en sagsøgt korrekt blev forudsagt at recidiverede eller ej. Forskningen rapporterede også om falske positive - når en tiltalt forventes at recidivere, men ikke gør det - og falske negative - når en tiltalt forudsiges ikke at recidivere, men gør det.

Med betydeligt mindre information end COMPAS - syv funktioner sammenlignet med 137 - da resultaterne blev samlet for at bestemme "mængdens visdom, "mennesker uden formodet strafferetlig erfaring var nøjagtige i 67 procent af de fremlagte sager, statistisk det samme som COMPAS's nøjagtighed på 65,2 procent. Undersøgelsesdeltagere og COMPAS var enige om 69,2 procent af de 1000 tiltalte, når de forudsagde, hvem der ville gentage deres forbrydelser.

Ifølge undersøgelsen, spørgsmålet om nøjagtig forudsigelse af recidiv er ikke begrænset til COMPAS. En separat gennemgang citeret i undersøgelsen viste, at otte ud af ni softwareprogrammer undlod at lave nøjagtige forudsigelser.

"Hele brugen af ​​instrumenter til forudsigelse af tilbagefald i retssale bør sættes spørgsmålstegn ved, " sagde Dressel. "Sammen med tidligere arbejde om retfærdigheden af ​​strafferetlige algoritmer, disse kombinerede resultater sår betydelig tvivl om hele indsatsen med at forudsige recidiv."

I modsætning til andre analyser, der fokuserer på, hvorvidt algoritmer er racemæssigt forudindtaget, Dartmouth -undersøgelsen overvejer det mere fundamentale spørgsmål om, hvorvidt COMPAS -algoritmen er bedre end utrænede mennesker til at forudsige tilbagefald på en præcis og fair måde.

Imidlertid, da race blev overvejet, forskningen fandt, at resultater fra både de menneskelige respondenter og softwaren viste betydelige forskelle mellem, hvordan sorte og hvide tiltalte bedømmes.

Ifølge avisen, det er værdifuldt at spørge, om vi ville lægge disse beslutninger i hænderne på utrænede mennesker, der svarer på en online-undersøgelse, fordi, til sidst, "resultaterne fra disse to tilgange ser ud til at kunne ikke skelnes."