Algoritmer, der forudsiger kriminalitet, ser og dømmer os efter de kort, vi har fået

Dine penge, postnummer, venner og familie kan gøre hele forskellen for, hvordan det kriminelle system behandler dig.

New South Wales-politiet skrottede for nylig et bredt fordømt program kendt som Suspect Targeting Management Plan. Den brugte algoritmiske risikoscore til at udpege "mål", nogle så unge som 10 år gamle, til politiovervågning.

Men lignende programmer forbliver på plads. For eksempel bruger Corrective Services NSW et statistisk vurderingsværktøj kaldet LSI-R til at forudsige, om fanger vil gentage lovovertrædelser.

"Højrisiko"-fanger modtager "højintensitetsinterventioner" og kan blive nægtet prøveløsladelse. Risikoscorerne er beregnet ud fra fakta såsom "kriminelle venner", familiens involvering i kriminalitet eller stoffer, økonomiske problemer, at bo i et "kvarter med høj kriminalitet" og hyppige adresseændringer.

En forudsigelig algoritme er et sæt regler, som computere (og nogle gange mennesker) skal følge, baseret på mønstre i data. Der er blevet skrevet meget om, hvordan algoritmer diskriminerer os, fra forudindtaget søgemaskiner til sundhedsdatabaser.

I min nyudgivne bog, Artificial Justice, argumenterer jeg for, at brugen af ​​værktøjer, der forudsiger vores adfærd baseret på faktorer som fattigdom eller familiebaggrund, også burde bekymre os. Hvis vi overhovedet bliver straffet, skal det kun være for det, vi har gjort forkert, ikke for de kort, vi har fået.

Algorithmer holder øje med os

Algoritmer genererer risikoscore, der bruges i strafferetlige systemer over hele verden. I Det Forenede Kongerige bruges OASys (Offender Assessment System) som en del af den forudgående domsinformation, der gives til dommere - det former kaution, prøveløsladelse og strafudmåling. I USA gør et værktøj kendt som COMPAS noget lignende.

Risikoscorer bruges også ud over strafferetsplejen, og de behøver ikke altid computere til at generere dem. En kort undersøgelse kendt som Opioid Risk Tool hjælper læger i Australien og over hele verden med at beslutte, om de skal ordinere smertelindring til akut og kronisk sygdom, ved at forudsige, om patienter vil misbruge deres medicin.

Forudsigende algoritmer redder bogstaveligt talt liv:de bruges til at allokere donororganer, triagere patienter og træffe akutte medicinske behandlingsbeslutninger. Men de kan også skabe og opretholde uberettigede uligheder.

Forestil dig, at vi udvikler en algoritme - "CrimeBuster" - til at hjælpe politiet med at patruljere kriminalitet "hot spots". Vi bruger data, der forbinder kriminalitet med områder befolket af familier med lavere indkomst. Da vi ikke kan måle "kriminalitet" direkte, ser vi i stedet på anholdelsesrater.

Alligevel kan det faktum, at anholdelsesraterne er høje i disse områder, bare fortælle os, at politiet bruger mere tid på at patruljere dem. Hvis der ikke er nogen begrundelse for denne praksis med intensiv politiarbejde, ville udrulning af CrimeBuster give disse fordomme status som politik.

Algorithmer dømmer os

Problemerne bliver større, når vi bruger statistik til at forudsige bevidst handling – de ting, vi vælger at gøre.

Dette kan være en forudsigelse om, hvorvidt nogen vil være en "giftig" medarbejder, begå kriminalitet eller misbruge stoffer.

De faktorer, der påvirker disse forudsigelser, offentliggøres sjældent. For den britiske strafudmålingsalgoritme OASys inkluderer de, om nogen har været udsat for vold i hjemmet.

Det amerikanske COMPAS-system fanger forældrenes skilsmisse og misbrug i barndommen. Opioid Risk Tool spørger, om patientens familie har en historie med stofmisbrug, og om patienten (hvis kvinden) har en historie med "præadolescent seksuelt misbrug."

I hvert tilfælde gør disse fakta det mere sandsynligt, at nogen kommer i fængsel, går glip af medicinsk behandling og så videre.

Vi ønsker alle at have chancen for at træffe valg, der er sande i forhold til, hvem vi er, og opfylde vores behov og mål. Og vi ønsker at have de samme valgmuligheder som andre mennesker i stedet for at blive udpeget som ude af stand til at vælge godt.

Når vi straffer nogen på grund af fakta, de ikke let kan påvirke, gør vi netop dette:vi behandler den person, som om de simpelthen ikke kan lade være med at træffe dårlige valg.

Vi kan ikke låse folk inde for en sikkerheds skyld

Problemet er ikke brugen af ​​algoritmer i sig selv. I det 19. århundrede hævdede den italienske læge Cesare Lombroso, at vi kunne identificere "den fødte kriminel" ud fra fysiske karakteristika - et misformet kranium, bred kæbe, lange lemmer eller store ører.

Ikke længe efter løb den britiske kriminolog Charles Goring med denne idé og argumenterede for, at visse "defekte" mentale egenskaber gjorde "fængslingens skæbne" uundgåelig.

Algoritmer gør det simpelthen meget sværere at se, hvad der foregår i verden af ​​risikovurdering af kriminalitet.

Men når vi ser efter, viser det sig, at det, der foregår, er noget, der ligner Lombroso-Goring-visionen:vi behandler folk, som om de er skæbnesvangre til at gøre forkert, og låser dem inde (eller holder dem indespærret) for en sikkerheds skyld.

Offentlige organer bør forpligtes til at offentliggøre de fakta, der danner grundlag for forudsigelserne bag sådanne beslutninger. Machine learning bør kun anvendes, hvis og i det omfang disse publiceringskrav kan opfyldes. Dette gør det nemmere at føre meningsfulde samtaler om, hvor grænsen skal trækkes.

I forbindelse med strafferetsplejen er den linje klar. Vi bør kun uddele hårdere straffe for dårlig opførsel, ikke andre fysiske, mentale eller sociale egenskaber. Der er masser af retningslinjer, der tager denne tilgang, og det er den linje, australske institutioner bør følge.

Når først straffe for deres forbrydelse er blevet anvendt, bør fanger ikke behandles anderledes eller spærres inde i længere tid på grund af deres venner og familie, deres økonomiske status eller måden, hvorpå de er blevet behandlet af andre.

Leveret af The Conversation

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.