Forskere introducerer et ratingsystem til at vurdere kvaliteten af ​​evidens for politik

COVID-19-pandemien har understreget det kritiske behov for robust videnskabelig dokumentation til støtte for politiske beslutninger, såsom omkring effektiviteten af ​​forskellige sociale afstandsforanstaltninger og sikkerheden ved lægemiddelbehandlinger. Alligevel opstår dette behov i en tid med voksende misinformation og dårligt undersøgte fakta, som gentages af indflydelsesrige kilder. For at løse dette hul, en gruppe videnskabsmænd ledet af Kai Ruggeri, professor ved Columbia University Mailman School of Public Health, og James Green, chefforsker ved NASA, har indført en ny ramme for at hjælpe med at sætte standarder for kvaliteten af ​​evidens, der bruges i politikudformningen.

Skitseret i Naturadfærds- og samfundsvidenskab , det teoretiske, Empirisk, Gældende, og REPLICERbar Impact (THEARI) system rangerer bevis i fem niveauer:(1) teoretisk (argument eller mulig forklaring angivet), (2) empirisk (begrebet beskrevet, men ikke brugt), (3) relevant (begrebet er blevet brugt for at fremkalde effekt), (4) replikerbar (effekt er blevet gentaget uafhængigt), (5) effekt (effekten er blevet passende replikeret i praksis med målbar værdi i den virkelige verden). I modsætning til andre evidensrangeringssystemer, der bruges inden for medicin eller teknologi, THEARI gælder bredt på tværs af discipliner.

Forfatterne siger, at THEARI vil hjælpe med at håndtere risici og samtidig give en rimelig vej til at anvende gennembrud i behandlinger og politiske løsninger i et forsøg på at dæmme op for den skade, der allerede påvirker velfærden for befolkninger rundt om i verden. De håber, at systemet vil blive anvendt på to niveauer:(1) en efterudgivelse som et badge svarende til Open Access, og (2) inden for politikvejledningsmateriale. Som et eksempel, en forside til politikere kunne sige, "vi anbefaler at bruge x-metoden, som i øjeblikket har en trestjernet rating i THEARI. Det betyder, at det kan være nyttigt, men flere test er nødvendige."

Når beviser ikke stemmer overens med politik

Forfatterne citerer to eksempler fra COVID-19-pandemien for at illustrere behovet for et bevisvurderingssystem som THEARI. Først, de peger på et papir fra 2007 af Cheng et al., der advarede om en genfremkomst af SARS-lignende coronavirus; men på trods af, at der er rigeligt med beviser af høj kvalitet, advarslen blev ikke fulgt. Sekund, Bemærk Storbritanniens beslutning om at forsinke foranstaltninger til social distancering på grund af frygt for "adfærdstræthed", der spreder sig i hele befolkningen - på trods af at der var lidt kvalitetsbevis til at understøtte konceptet.

I tilfælde af hydroxychloroquin, den kontroversielle potentielle terapi for COVID-19, forfatterne siger, at der er en masse beviser om stoffet som en terapi for andre sygdomme, lidt specifik for COVID. Ethvert klassificeringssystem kan kun fungere, hvis det anvendes til den specifikke kontekst, bemærker de. Mens de to problematiske tidsskriftsartikler om hydroxychloroquin blev trukket tilbage, politik bør ikke stole på en eller to undersøgelser, medmindre de virkelig er liv eller død i øjeblikket. Og ethvert ratingsystem vil fungere, hvis tidsskrifter har protokoller på plads for at forhindre offentliggørelse af fejlagtig forskning.

Ud over COVID-19, Forfatterne observerer, at klimaændringer, som er solidt etableret som kendsgerning i det videnskabelige samfund, er indtil for nylig blevet præsenteret af de almindelige medier som en debat - hvilket bidrager til forsinkelser i politikker for at løse problemet. Meninger præsenteret som teori får kun den laveste THEARI-vurdering; meninger uden en teori får ingen som helst vurdering. Dette forenkler processen med at forstå, hvad der er blevet undersøgt (nogle gange i ekstrem dybde) versus hvad der blot er et perspektiv, informeret eller ej.

Forfatterne skitserer flere årsager ud over disse former for uoverensstemmelser mellem beviser og politik, herunder den voksende mængde videnskabelig dokumentation og kompleksiteten af ​​politiske processer, hurtig spredning af information og misinformation, og den høje grad af usikkerhed omkring datas pålidelighed og sammenlignelighed.

"Adfærdsvidenskab tyder på, at den politiske fortolkning af eksisterende information kan være særligt udsat for skævheder i denne sammenhæng med knaphed på tid og ressourcer, " skriver forfatterne. "At formulere evidens-informerede politikker ser ud til at være mest udfordrende lige når vi har mest brug for det."

Forfatterne konkluderer:"Ved at præsentere THEARI, den ultimative fordel, vi forestiller os, er at sætte en fælles ramme som udgangspunkt for at bruge beviser i politiske diskussioner, overvinde skævheder og virkningerne af inkonsistente definitioner eller upålidelige indsigter. Dette tilskynder politiske beslutningstagere til at sætte mere værdi på beviser ved at give støtte til meningsfulde argumenter, der ellers kan ses bort fra som uforenelige med den nuværende tankegang, selv blandt videnskabsmænd."