Videnskab
 science >> Videnskab >  >> Andet

Forskere tager sigte på falske positiver i forskning

Kredit:Petr Kratochvil/Public Domain

En enkelt ændring af en århundrede gammel statistisk standard ville dramatisk forbedre kvaliteten af ​​forskning inden for mange videnskabelige områder, reducere antallet af såkaldte falske positiver, ifølge en kommentar offentliggjort 1. september in Naturen Menneskelig adfærd .

Argumentet, medforfatter af University of Chicago økonom John List, repræsenterer konsensus mellem 72 forskere fra institutioner over hele verden og discipliner lige fra neurobiologi til filosofi. Deres anbefalinger kan have stor betydning for udgivelsen af ​​akademisk arbejde og på den offentlige orden.

"Vi annoncerer, at interventioner virker, fordi vi statistisk tror, ​​de virker. Men de virker faktisk ikke. Det er ved at blive en krise i videnskaberne, sagde Liste, Kenneth C. Griffin Distinguished Service Professor in Economics.

List og hans medforfattere foreslår, at forskere er nødt til at nulstille et statistisk benchmark kendt som p-værdien, fordi standarderne for bevis for at hævde nye opdagelser på mange områder simpelthen er for lave. Tilgangen skader troværdigheden af ​​videnskabelige påstande, de sagde.

En p-værdi standard blev vedtaget i begyndelsen af ​​1920'erne, da den britiske statistiker Ronald Fisher foreslog en værdi under 0,05 som en tærskel for at bestemme validiteten af ​​forskningsresultater. Hvis p-værdien falder under denne tærskel - hvilket betyder, at sandsynligheden for, at en undersøgelses konklusioner skyldes tilfældige tilfældigheder, er under 5 procent - så anses forskningen generelt for at være statistisk signifikant.

Men p-værditærsklen er blevet et mål for kritik som reaktion på en opfattet replikationskrise i videnskabelige samfund. Videnskabstidsskrifter bruger ofte statistisk signifikans - og p-værdier - som en test til at vælge, hvilke artikler der skal publiceres. List sagde, at den nuværende p-værdi-tærskel på 0,05 tillader mange undersøgelser at blive offentliggjort og påvirke økonomiske og politiske beslutninger, selvom resultaterne måske ikke kan reproduceres af andre forskere.

"Hvis Ronald Fisher ville have vidst, at tæt på 100 år senere ville vi bruge 0,05-standarden religiøst til at træffe 'informerede' politiske beslutninger, Jeg tror ikke, han ville have avanceret det, " sagde Liste.

Mere reproducerbare undersøgelser

For at være sikker på, at en første opdagelse vil virke, når den sættes i praksis, resultater skal kunne replikeres. Tidligere undersøgelser har vist, at kun 24 procent af psykologistudier med en p-værdi på 0,05 kunne bekræftes af yderligere eksperimenter, tyder på, at tre ud af fire undersøgelser viste falske positive resultater. Tilsvarende kun 44 procent af økonomiartikler med samme p-værdi var reproducerbare.

Forfatterne beregnede, at en sænkning af p-værditærsklen til 0,005 ville groft fordoble replikationsraten i psykologi og økonomi, og andre felter ville se lignende resultater. "At ændre p-værditærsklen er enkel, stemmer overens med den uddannelse, som mange forskere har gennemført og kan hurtigt opnå bred accept, " sagde forfatterne.

Listen er enig. "Du vil oprette en verden, hvor du har flere mennesker, der prøver at kopiere, og du vil have samfundet til at belønne disse mennesker, " sagde han. "Og du ønsker også, at flere resultater, der går ind i politik, skal være sande resultater, at være replikerbar. Under 0,005 ville flere af dem være."

For yderligere at tilskynde til publicering og replikering af undersøgelser, forfatterne af papiret foreslår, at nye resultater, der i øjeblikket ville blive kaldt "signifikante", men ikke opfylder den reviderede 0,005 p-værdi, bør kaldes "suggestive" i stedet for.

List og hans medforfattere er omhyggelige med at påpege, at en ændring af p-værdien ikke er det eneste skridt til at forbedre den videnskabelige forskning. "Vi har forskellige synspunkter om, hvordan vi bedst kan forbedre reproducerbarheden, og mange af os tror, ​​at andre måder at opsummere data på... er at foretrække frem for p-værdier, " de sagde.