Sikkerhed i kompleks videnskabelig forskning er et mål, der ikke kan nås

En undersøgelse fra University of Toronto om usikkerhed inden for videnskabelig forskning kan kaste lys over anomalier, der opstod i tidlige forsøg på at opdage Higgs -bosonen, og endda hvordan meningsmålinger ikke forudsagde resultatet af Donald Trump, der vandt det amerikanske præsidentvalg.

Udgivet for nylig i tidsskriftet Royal Society Open Science , undersøgelsen tyder på, at forskning inden for nogle af de mere komplekse videnskabelige discipliner, såsom medicin eller partikelfysik, fjerner ofte ikke usikkerheder i det omfang, vi kan forvente.

"Dette skyldes en tendens til at undervurdere chancen for betydelige abnormiteter i resultaterne." sagde studieforfatter David Bailey, en professor i U i T's Institut for Fysik.

Ser man på 41, 000 målinger af 3, 200 mængder - fra massen af ​​en elektron til kulstofdatering af en prøve - fandt Bailey, at der skete unormale observationer op til 100, 000 gange oftere end forventet.

"Chancen for store forskelle falder ikke eksponentielt, som du ville forvente i en normal klokkekurve, "sagde Bailey.

En lang hale af usikkerhed

"Undersøgelsen viser, at forskere på mange områder gør et godt stykke arbejde med at estimere størrelsen på typiske fejl i deres målinger, men undervurderer normalt chancen for store fejl, "sagde Bailey, bemærker, at den større end forventede hyppighed af store forskelle kan være en næsten uundgåelig konsekvens af den komplekse natur af videnskabelig forskning.

"Efterhånden som målinger bliver mere og mere præcise, de mindste ting betyder mere og mere, "Sagde Bailey.

"Hvis to målinger stemmer overens, du er glad. Hvis ikke, du ser der er noget du skal undersøge, "sagde han." Du sporer årsagen til variationen og rapporterer årsagen, eller du siger, at du ikke kender årsagen, og det reducerer tilliden til dit resultat. "

Men med begrænset tid og økonomiske ressourcer, forskere skal ofte vælge mellem at have en stor stikprøve af data, såsom titusinder af mennesker i en undersøgelse, og har et stort antal variabler, du vil forstå.

"Du starter med en meget stor prøve, der bare klumper alle sammen. Du skal derefter måske spørge, om dit resultat er det samme for både mænd og kvinder. Er det det samme for forskellige baggrunde, Canadiere versus amerikanere, for eksempel, "siger Bailey." På det tidspunkt, du er nødt til at spørge, om dine resultater holder for det mindre datasæt. Din prøve bliver mindre, og mere kan gå galt. "

Umuligt ikke at tage lidt fejl?

Fysikstudier klarede sig ikke markant bedre, end den medicinske og anden forskning observerede. Imidlertid, den meget kvantificerbare måde, hvorpå værdier og usikkerheder indberettes, kan gøre fysikken mere nyttig med hensyn til graden af ​​reproduktionsevne af resultater, som forskere med rimelighed burde forvente.

"Forskere vil stadig sigte efter de mest nøjagtige resultater, men deres forventninger til, hvor godt disse mål opfyldes, kan dæmpes i lyset af denne forskning, "sagde Bailey.

Han mener, at hans undersøgelse kan hjælpe forskere med bedre at analysere deres data, motivere mere omhu med nye resultater, og tilskynde til mere realistiske forventninger fra både forskere og offentligheden om nøjagtigheden af ​​videnskabelig forskning.

"Disse indsigter kan være gavnlige i betragtning af den naturligt komplekse natur af videnskabelig forskning, "siger Bailey." Men chancen for at undgå at tage fejl på en eller anden måde på et eller andet niveau er næsten umulig. "