Forskere undersøger reproducerbarheden af ​​forskningsspørgsmål og retsmidler

Reproducerbarhed af videnskabelige resultater har længe været en vigtig indikator for validiteten af ​​data indsamlet fra forskning, en proces, der anses for at være endnu mere kritisk i denne tid med stadigt skiftende teknologier og metoder.

På Sackler Colloquium fokuserede på "Reproducerbarhed af forskning:problemer og foreslåede løsninger, "David B. Allison, dekan ved Indiana University School of Public Health-Bloomington, og medarrangørerne Richard Shiffrin, IU Distinguished Professor og Luther Dana Waterman Professor i psykologi og hjernevidenskab; Victoria Stodden fra University of Illinois og afdøde Stephen Fienberg fra Carnegie Mellon University inviterede til diskussion om hovedemnerne om at definere reproducerbarhed i forskellige forskningssammenhænge og levere retsmidler, der bidrager til større reproducerbarhed og gennemsigtighed.

Et dusin artikler, der formede kollokviet, blev offentliggjort i marts 2018-særudgaven af Proceedings of the National Academy of Sciences og dækkede en bred vifte af emner fra indsamling af data til formidling af resultater fra både de videnskabelige og ikke-videnskabelige samfund.

Blandt dem er "Videnskabelige fremskridt trods irreproducerbarhed:et tilsyneladende paradoks, "af Shiffrin; Katy Börner, IU Distinguished Professor of Engineering and Information Science og Stephen M. Stigler fra University of Chicago. I en tid, hvor videnskabelige fremskridt finder sted dagligt og styrer store dele af det moderne samfund, det virker selvmodsigende, at den måde, videnskaben praktiseres på, gør en hel del rapporterede fund svære eller umulige at gengive. Imidlertid, videnskabelig praksis er fortsat med at udvikle sig og udvikle sig på trods af elementære problemer, ikke mindst, at der kan gå en del år før gyldigheden, resultaternes betydning og anvendelighed kan fastslås korrekt.

Forskerne anerkender, at det ofte er muligt for selv ugyldige resultater og konklusioner at blive reproduceret, men bemærker, at gentagelsen af ​​grundlæggende – og ofte undgåelige – fejl normalt er kernen i et sådant resultat. Derfor, for at maksimere fremskridt, de anbefaler, at der skabes en balance mellem deling af lovende resultater i de tidlige stadier og opretholdelse af streng årvågenhed for at sikre kvalitetsrapportering. Delte data skal ikke kun være pålidelige og vigtige, men også af ægte videnskabelig værdi med evnen til at generalisere til lignende indstillinger.

Forfatterne undersøger foreslåede nye midler designet til at reducere graden af ​​irreproducerbarhed - såsom at kræve præregistrering af undersøgelser for at forhindre "cherry-picking"-data - og anbefaler reformer, der er skræddersyet til forskningstype og -mål. Denne holdning understøttes af de forskellige konsekvenser, der er mulige, hvis ugyldige resultater offentliggøres:fund indsamlet under udforskningsprocessen vil sandsynligvis ikke medføre skade, selvom en forkert anvendelse af konklusioner i det virkelige liv kan forårsage alvorlig skade. De advarer, imidlertid, at enhver afhjælpning og reform kan have utilsigtede konsekvenser, der kan bremse snarere end fremskynde videnskabelige fremskridt.

Også fremhævet i PNAS spørgsmålet er en rapport af Andrew Brown, assisterende professor i anvendt sundhedsvidenskab ved IU School of Public Health-Bloomington; Kathryn A. Kaiser, assisterende professor i sundhedsadfærd ved University of Alabama i Birmingham og Allison, med titlen "Problemer med data og analyser:fejl, Underliggende temaer, og potentielle løsninger, " som fokuserer på fejl, der kunne tænkes at være undgået ved anvendelse af god etableret praksis.

Forskerne diskuterer sådanne påvirkninger som citering og publikationsbias, matematiske fejlberegninger, fejl i fortolkning og arbejde med dårlige data, der er opnået gennem tvivlsomme metoder, design eller teknikker. Forkert håndtering og opbevaring af data kan også påvirke evnen til at bekræfte fund, ligesom fejl i kommunikation og logik. De understreger, at konsekvenserne af ugyldig fortolkning og rapportering spænder fra tab af offentlig tillid til potentielt tab af liv.

Fordele og ulemper ved peer review-processen som en pålidelig opretholder af videnskabelig integritet i litteraturen er også drøftet. På trods af sådanne udfordringer som, hvad forfatterne betegner "en ukendt ukendt" - hvilket betyder, at korrekturlæsere læser, hvad der præsenteres i manuskripter uden at have yderligere information (eller måske endda fuldstændig information), som de kan evaluere potentielle fejl med - er iboende i denne proces, Brown and the team maintain that there are certain actions and methods that well-trained scientists should and could recognize as erroneous and/or lacking in rigor.

Notes Brown, "The entire colloquium focused on research rigor and reproducibility. In particular, we were interested in identifying challenges and limitations to rigor and reproducibility, men, more importantly we were interested in identifying paths forward to make science more rigorous and reproducible. We need to start from a position that scientific thinking is still our best way of coming to have objective knowledge of the world. I think we as a scientific enterprise have done a thorough job noting that reproducibility is a problem, even if more work needs to be done to determine underlying causes, more rigorously catalog errors and pitfalls, and identify the best interventions for reinforcing scientific rigor. Imidlertid, we know that there are incremental and structural changes we can make now to improve the present condition of scientific investigations and publications to fulfill the mantra that science is self-correcting."