Ny rapport undersøger reproducerbarhed og replikerbarhed i videnskab

Mens beregningsreproducerbarhed i videnskabelig forskning generelt forventes, når de originale data og kode er tilgængelige, manglende evne til at replikere en tidligere undersøgelse - eller opnå konsistente resultater ved at se på det samme videnskabelige spørgsmål, men med forskellige data - er mere nuanceret og kan lejlighedsvis hjælpe i processen med videnskabelig opdagelse, siger en ny kongresmandat rapport fra National Academies of Sciences, Ingeniørarbejde, og medicin. Reproducerbarhed og replikerbarhed i videnskaben anbefaler måder, som forskere, akademiske institutioner, journaler, og finansiører bør bidrage til at styrke stringens og gennemsigtigheden for at forbedre reproducerbarheden og replikerbarheden af ​​videnskabelig forskning.

Definition af reproducerbarhed og replikerbarhed

Udtrykkene "reproducerbarhed" og "replikabilitet" bruges ofte i flæng, men rapporten bruger hvert udtryk til at henvise til et separat koncept. Reproducerbarhed betyder at opnå konsistente beregningsresultater ved hjælp af de samme inputdata, beregningsmæssige trin, metoder, kode, og analysebetingelser. Replikerbarhed betyder at opnå konsistente resultater på tværs af undersøgelser med det formål at besvare det samme videnskabelige spørgsmål, som hver har fået deres egne data.

Reproduktion af forskning involverer at bruge de originale data og kode, mens gentagelse af forskning involverer ny dataindsamling og lignende metoder, der er brugt i tidligere undersøgelser, siger rapporten. Selv når en undersøgelse blev strengt udført i overensstemmelse med bedste praksis, korrekt analyseret, og gennemsigtigt rapporteret, det kan ikke blive replikeret.

"At være i stand til at reproducere beregningsresultaterne fra en anden forsker, der starter med de samme data og replikerer en tidligere undersøgelse for at teste dens resultater, letter videnskabens selvkorrigerende natur, og bliver ofte citeret som kendetegn for god videnskab, " sagde Harvey Fineberg, præsident for Gordon and Betty Moore Foundation og formand for udvalget, der udførte undersøgelsen. "Imidlertid, faktorer som manglende gennemsigtighed i rapporteringen, mangel på passende uddannelse, og metodefejl kan forhindre forskere i at kunne reproducere eller replikere en undersøgelse. Forskningsfinansierere, journaler, akademiske institutioner, politiske beslutningstagere, og videnskabsmænd selv har hver især en rolle at spille i at forbedre reproducerbarheden og replikerbarheden ved at sikre, at videnskabsmænd overholder de højeste standarder for praksis, forstå og udtrykke den usikkerhed, der er forbundet med deres konklusioner, og fortsætte med at styrke det indbyrdes forbundne net af videnskabelig viden - den vigtigste drivkraft for fremskridt i den moderne verden."

Reproducerbarhed

Udvalgets definition af reproducerbarhed fokuserer på beregning, fordi de fleste videnskabelige og tekniske forskningsdiscipliner bruger beregning som et værktøj, og overfloden af ​​data og udbredt brug af beregninger har transformeret mange discipliner. Imidlertid, denne revolution er endnu ikke ensartet afspejlet i, hvordan videnskabsmænd bruger software, og hvordan videnskabelige resultater publiceres og deles, siger rapporten. Disse mangler har konsekvenser for reproducerbarheden, fordi videnskabsmænd, der ønsker at reproducere forskning, kan mangle den information eller uddannelse, de har brug for til at gøre det.

Når resultater produceres af komplekse beregningsprocesser ved hjælp af store mængder data, metodeafsnittet i en videnskabelig artikel er utilstrækkelig til at formidle den nødvendige information til, at andre kan gengive resultaterne, siger rapporten. Yderligere information relateret til data, kode, modeller, og beregningsmæssig analyse er nødvendig.

Hvis tilstrækkelig yderligere information er tilgængelig, og en anden forsker følger metoderne beskrevet af den første forsker, man forventer i mange tilfælde at opnå de samme nøjagtige numeriske værdier - eller bitvis gengivelse. For nogle forskningsspørgsmål, bitvis reproduktion er muligvis ikke opnåelig, og reproducerbare resultater kan opnås inden for et accepteret variationsområde.

Evidensgrundlaget for at bestemme forekomsten af ​​ikke-reproducerbarhed i forskning er ufuldstændigt, og at bestemme omfanget af problemer relateret til beregningsreproducerbarhed på tværs af eller inden for videnskabsområder ville være en massiv opgave med en lav sandsynlighed for succes, fandt udvalget. Imidlertid, en række systematiske bestræbelser på at reproducere beregningsresultater på tværs af en række felter har fejlet i mere end halvdelen af ​​de forsøg, der er gjort - primært på grund af utilstrækkelige detaljer om data, kode, og beregningsmæssig arbejdsgang.

Replikerbarhed

En vigtig måde at bekræfte eller bygge på tidligere resultater er at følge de samme metoder, få nye data, og se, om resultaterne stemmer overens med originalen. En vellykket replikation garanterer ikke, at de originale videnskabelige resultater af en undersøgelse var korrekte, imidlertid, heller ikke en enkelt mislykket replikering afkræfter endeligt de oprindelige påstande, siger rapporten.

Ikke-replikabilitet kan opstå fra en række kilder. Udvalget klassificerede kilder til ikke-replikabilitet i dem, der potentielt er nyttige til at opnå viden, og dem, der ikke er hjælpsomme.

Potentielt nyttige kilder til ikke-replikabilitet omfatter iboende, men ukarakteriserede usikkerheder i det system, der undersøges. Disse kilder til ikke-replikabilitet er en normal del af den videnskabelige proces, på grund af den iboende variation eller kompleksitet i naturen, omfanget af den nuværende videnskabelige viden, og grænserne for nuværende teknologier. I sådanne tilfælde, en manglende replikering kan føre til opdagelsen af ​​nye fænomener eller ny indsigt om variabilitet i det system, der undersøges.

I andre tilfælde, rapporten siger, ikke-replikabilitet skyldes mangler i designet, adfærd, og formidling af en undersøgelse. Uanset om det skyldes manglende viden, perverse incitamenter, sjusk, eller partiskhed, disse uhensigtsmæssige kilder til ikke-replikabilitet reducerer effektiviteten af ​​videnskabelige fremskridt.

Uhensigtsmæssige kilder til ikke-replikabilitet kan minimeres gennem initiativer og praksis, der sigter på at forbedre forskningsdesign og metodologi gennem uddannelse og mentorordninger, gentagelse af eksperimenter før offentliggørelse, streng peer review, bruge værktøjer til at kontrollere analyser og resultater, og bedre gennemsigtighed i rapporteringen. Bestræbelser på at minimere undgåelige og uhensigtsmæssige kilder til ikke-replikabilitet kræver fortsat opmærksomhed, siger rapporten.

Forskere, der bevidst bruger tvivlsom forskningspraksis med den hensigt at bedrage, begår uredelighed eller bedrageri. Det kan i praksis være svært at skelne mellem ærlige fejl og bevidst uredelighed, fordi den underliggende handling kan være den samme, mens hensigten ikke er det. Videnskabelig uredelighed i form af urigtige fremstillinger og bedrageri er en vedvarende bekymring for hele videnskaben, selvom det tegner sig for en meget lille procentdel af offentliggjorte videnskabelige artikler, fandt udvalget.

Forbedring af reproducerbarhed og replikerbarhed i forskning

Rapporten anbefaler en række skridt, som interessenter i forskningsvirksomheden bør tage for at forbedre reproducerbarheden og replikerbarheden, inklusive:

• Alle forskere bør inkludere en klar, bestemt, og fuldstændig beskrivelse af, hvordan de rapporterede resultater blev nået. Rapporter bør indeholde detaljer, der er passende for typen af ​​forskning, såsom en klar beskrivelse af alle metoder, instrumenter, materialer, procedurer, målinger, og andre variabler involveret i undersøgelsen; en klar beskrivelse af analysen af ​​data og beslutninger om udelukkelse af nogle data eller medtagelse af andre; og diskussion af usikkerheden ved målingerne, resultater, og slutninger.
• Finansieringsbureauer og organisationer bør overveje at investere i forskning og udvikling af open source, brugbare værktøjer og infrastruktur, der understøtter reproducerbarhed for en bred vifte af undersøgelser på tværs af forskellige domæner på en problemfri måde. Sideløbende investeringer ville være nyttige i opsøgende arbejde for at informere og uddanne forskere om bedste praksis og hvordan man bruger disse værktøjer.
• Tidsskrifter bør overveje måder at sikre beregningsmæssig reproducerbarhed for publikationer, der fremsætter påstande baseret på beregninger, i det omfang det er etisk og juridisk muligt.
• National Science Foundation bør tage skridt til at lette gennemsigtig deling og tilgængelighed af digitale artefakter, såsom data og kode, til NSF-finansierede undersøgelser - herunder udvikling af et sæt kriterier for pålidelige åbne depoter, der skal bruges af det videnskabelige samfund til genstande af den videnskabelige dokumentation, og godkende eller overveje oprettelse af kode- og datalagre til langtidsarkivering og bevaring af digitale artefakter, der understøtter påstande fremsat i den videnskabelige optegnelse baseret på NSF-finansieret forskning, blandt andre handlinger.

Tillid til videnskaben

Replikerbarhed og reproducerbarhed, nyttige som de er til at opbygge tillid til videnskabelig viden, er ikke de eneste måder at opnå tillid til videnskabelige resultater på. Forskningssyntese og metaanalyse, for eksempel, er værdifulde metoder til at vurdere pålideligheden og validiteten af ​​forskningsorganer, siger rapporten. Et mål for videnskaben er at forstå den overordnede effekt fra et sæt videnskabelige undersøgelser, ikke strengt at afgøre, om en undersøgelse har replikeret en anden.

Blandt andre relaterede anbefalinger, rapporten siger, at folk, der træffer personlige eller politiske beslutninger baseret på videnskabelige beviser, bør være på vagt over for at tage en seriøs beslutning baseret på resultaterne, uanset hvor lovende, af en enkelt undersøgelse. Af samme grund, de skal ikke tage en ny, enkelt modsat studie som tilbagevisning af videnskabelige konklusioner understøttet af flere linier af tidligere beviser.

Undersøgelsen – udført af udvalget for reproducerbarhed og replikerbarhed i videnskab – blev sponsoreret af National Science Foundation og Alfred P. Sloan Foundation. De nationale akademier er private, nonprofit institutioner, der tilbyder uafhængige, objektiv analyse og rådgivning til nationen for at løse komplekse problemer og informere offentlige politiske beslutninger relateret til videnskab, teknologi, og medicin. De opererer under et kongrescharter fra 1863 til National Academy of Sciences, underskrevet af præsident Lincoln. For mere information, besøg nationalacademies.org.