En advarende fortælling om måling af racemæssig skævhed i politiarbejde

Racefordomme og politiarbejde skabte overskrifter sidste år, efter at en undersøgelse, der undersøgte registreringer af dødelige politiskyderier, hævdede, at hvide betjente ikke var mere tilbøjelige til at skyde racemæssige minoriteter end ikke-hvide betjente. Der var ét problem:Undersøgelsen var baseret på en logisk fejlslutning.

Den oprindelige forskning talte antallet af fatale skyderier, men aldrig overvejet, hvor ofte civile støder på politibetjente, en væsentlig ingrediens til at retfærdiggøre dens centrale påstand.

Resultaterne udløste en heftig debat blandt andre akademikere, inklusive to professorer fra Princeton University, der rejste matematiske bekymringer om undersøgelsens tilgang. I dag, de offentliggjorde deres kritik som et brev i Proceedings of the National Academy of Sciences (PNAS) .

Parret - Dean Knox, adjunkt i politik, og Jonathan Mummolo, adjunkt i politik og offentlige anliggender - skitser en række alvorlige fejl i den oprindelige undersøgelse, som var med i PNAS den 6. aug. 2019.

Til den oprindelige undersøgelse, forskere fra Michigan State University og University of Maryland indsamlede data om 900 fatale amerikansk politiskyderier fra crowdsourcede databaser. De kontaktede derefter hver politiafdeling, indsamling af information om racen for de politibetjente, der er ansvarlige for hvert dødsulykke.

Forskerne brugte derefter skyderidataene til at forudsige ofrenes race. Specifikt, de viste, at når skytten var sort, den civile, der blev skudt, var mere tilbøjelig til at være sort end hvid. Og kontrollerende for egenskaber i det amt, hvor skyderier fandt sted, "forholdet mellem officer og civil race blev svækket eller elimineret." Forfatterne fortolkede disse resultater som bevis på, at hvide betjente ikke er forudindtaget over for sorte civile.

Endnu, Knox og Mummolo viser, at forfatternes konklusioner afhænger af den antagelse, at sorte og hvide betjente møder sorte og hvide civile i lige mange. Knox og Mummolo viser dette formelt, men et simpelt tankeeksperiment illustrerer også det konceptuelle problem.

Forestil dig en hvid officer støder på 90 hvide civile og 10 sorte, mens en sort officer støder på 90 sorte civile og 10 hvide, begge under identiske omstændigheder. Hvis begge betjente skød fem sorte og ni hvide civile, resultaterne ville - ifølge ræsonnementet fra den oprindelige undersøgelse - ikke synes at vise nogen racemæssig skævhed.

Imidlertid, når encounter rates er taget i betragtning, man ville se den hvide officer skød 50 % af de sorte civile, han eller hun så, mens den sorte officer skød 5,6 %. Derfor, undladelse af at inkorporere oplysninger om mødefrekvenser maskerer racemæssig skævhed.

Dataene fra den oprindelige undersøgelse omfatter også kun registreringer af skyderier, ignorerer alle andre politi-civile møder. Og det tager ikke højde for, at alle politibetjente – hvide og ikke-hvide – kunne, i teorien, være forudindtaget i at skyde sorte mænd.

Disse kritikker har en række implikationer på den måde, data indsamles til forskning og de benchmarks, der bruges til analyse.

"Nye data om politiets adfærd kommer online hele tiden, og det er fantastisk set fra et forskningsmæssigt synspunkt, " sagde Mummolo. "Men alle data i verden afviser ikke behovet for at overholde grundlæggende principper for statistisk teori og kausal slutning. Undersøgelser af racemæssig skævhed kræver den største stringens, og når der begås åbenlyse fejl, de skal hurtigt rettes. At lade beviseligt falske resultater stå uimodsagt risikerer at forvirre offentligheden og lovgiverne om et af vor tids mest presserende politiske spørgsmål."

Efter deres kritik i første omgang blev afvist af PNAS , Mummolo offentliggjorde en Twitter-tråd, der fremhævede de matematiske problemer forbundet med den oprindelige undersøgelse i august 2019. Holdet postede også deres analyse på preprint-serveren SSRN.

Som svar på kritikken, forfatterne af det originale papir udgav et formelt svar, at angive deres påstand om den relative sandsynlighed for, at hvide og sorte betjente skyder racemæssige minoriteter, blev ikke støttet, men tilføjer, at de oprindelige resultater, "som beskrevet i det manuskript, stort set uændret."

Knox og Mummolo ankede derefter afslaget kl PNAS , og deres kritik blev accepteret.

Brevet, "At drage slutninger om raceforskelle i politisk vold, " optrådte i PNAS den 20. januar.