Ny rapport anbefaler større gennemsigtighed i forskningen

Lorena Barba, lektor i mekanik og rumfartsteknik på School of Engineering and Applied Science, præsenterede for nylig en kongressmandatiseret rapport for føderale lovgivere og eksperter, der vil vejlede fremtidig national politik inden for videnskab og ingeniørforskning.

Dr. Barba er medlem af National Academies of Sciences Engineering and Medicine (NASEM) Reproducerbarhed og replikerbarhed i Science -undersøgelsesudvalget, som blev dannet i 2017. Udvalget afholdt en række briefinger op til offentliggørelsen af ​​deres rapport den 7. maj med Det Hvide Hus Office of Science and Technology Policy, National Science Foundation (NSF) og andre interessenter.

Udvalget havde til formål at identificere eventuelle spørgsmål om replikation og reproducerbarhed inden for videnskabelig og teknisk forskning. Rapporten fremsatte anbefalinger til forbedring af stringens og gennemsigtighed inden for videnskabelig og teknisk forskning, og identificerede og fremhævede god praksis.

GW Today talte for nylig med Dr. Barba om rapporten:

Sp .:Hvorfor tror du, at det var vigtigt at have et udvalgsundersøgelser omkring forskningens replikation og reproducerbarhed?

A:Undersøgelsen blev bestilt af National Science Foundation, som svar på kongressens mandat. Public Law 114-329 henviser til "voksende bekymring for, at nogle offentliggjorte forskningsresultater ikke kan gengives eller replikeres ..." og pålægger NSF at udarbejde en rapport med en vurdering og anbefalinger om emnet. Jeg ved ikke, hvad der forårsagede dette juridiske direktiv, men jeg ved det godt de sidste par år forskellige medierapporter har offentliggjort fremtrædende fejl i at replikere fund. På samme tid, en bevægelse for åben videnskab og reproducerbarhed er vokset på tværs af forskningsområder. Det var således på tide at foretage en dybdegående undersøgelse, der kiggede på tværs af hele videnskaben.

Sp .:Hvordan blev du involveret i dette udvalg?

A:Jeg blev nomineret af anonyme medlemmer af det videnskabelige samfund, som en anerkendt autoritet for reproducerbarhed. De nationale akademier kontaktede mig om studieudvalget i september 2017, og efter et telefoninterview og afsendelse af yderligere baggrund om mit arbejde, Jeg blev formelt inviteret i november 2017. Vi har arbejdet på dette studie i næsten halvandet år.

Sp .:Hvad er de vigtigste resultater fra rapporten?

A:Det samlede fund kan opsummeres i fire ord:ingen krise, ingen selvtilfredshed. Budskabet er todelt:den krisefortælling, der har udspillet sig i løbet af de sidste par år, er for det meste retorik:reproducerbarhed og replikerbarhed er en del af de måder, hvorpå videnskab selvkorrigerer, men er ikke den eneste bekymring. På den anden side, forbedringer er nødvendige - mere gennemsigtighed i beregningsarbejdsgange, kode og data, for eksempel, og justering af incitamentsstrukturen til at værdsætte reproducerbar forskning. Andre fund omfatter behovet for større flydende statistik, og uddannelse af forskere i tidlig karriere i beregningsværktøjer og -metoder.

Sp .:Hvorfor søgte udvalget at definere, hvad udtrykkene replikering og reproducerbarhed betyder?

A:Manglen på en standardbrug for disse udtryk hindrer fremskridt, så ofte er det uklart, hvad forskere mener og dermed hvordan de skal håndtere bekymringerne. Både reproducerbarhed og replikerbarhed er ord, der bruges i relation til en forskers generelle bekymringer eller en undersøgelse, der bekræfter resultaterne af en tidligere offentliggjort undersøgelse. Nogle gange bruges ordene som en paraplybetegnelse for alle relaterede bekymringer. Men nogle felter har skelnet mellem de to udtryk, og det er vigtigt at blive enige om, hvad denne sondring er for at flytte samtalen fremad. Undersøgelsen definerer reproducerbarhed som at opnå konsistente beregningsresultater ved hjælp af de samme inputdata, beregningsmæssige trin, metoder, kode og betingelser for analyse. Et replikationsstudie, på den anden side, indsamler nye data og foretager ny analyse for at bekræfte resultaterne af en tidligere undersøgelse.

Sp .:Hvad skal studerende, der er interesseret i at lave forskning i fremtiden, tage fra denne rapport?

A:Rapporten understreger computernes allestedsnærværende og vigtige rolle i moderne videnskab, og behovet for forbedret træning i statistiske metoder. Studerende interesseret i forskning ville få en fordel ved at søge uddannelse i beregningsevner-herunder open source-værktøjer, softwareudvikling, datastyring og hvordan man automatiserer gentagne opgaver. At udføre forskning reproducerbart bliver mindre udfordrende, hvis du bruger de rigtige værktøjer.

Q:Nu hvor rapporten er frigivet, hvilken form for yderligere arbejde tror du, der skal udføres i forbindelse med disse spørgsmål?

A:Rapporten fremsætter en række anbefalinger, der vil indebære fortsat arbejde, af forskellige mennesker og institutioner. Uddannelse og træning i både statistik og beregningsmetoder kræver en vis forstærkning. Tidsskrifter og faglige samfund skal arbejde på initiativer til fremme af beregningsmæssig reproducerbarhed og offentliggørelse af replikationer. Rapporten anbefaler også, at finansieringsbureauer indarbejder reproducerbarhed og replikerbarhed i deres merit-review-kriterier for nye forslag.