Sigter efter guld - forbedring af reproducerbarheden i hydrologiundersøgelser

I seks velansete hydrologi- og vandressourcetidsskrifter udgivet i 2017, den anslåede procentdel af undersøgelser, hvis resultater kunne reproduceres fuldt ud, var kun mellem 0,06 og 6,8 procent. Dette lave niveau af reproducerbarhed er ikke ualmindeligt i hydrologiundersøgelser - en kendsgerning, som mange forskere let erkender. Imidlertid, et team af forskere ved Utah State University kan have fundet en løsning til at gøre disse undersøgelser mere reproducerbare.

I deres papir, "Vurderer datatilgængelighed og forskningsreproducerbarhed inden for hydrologi og vandressourcer, " udgivet 26. februar i Nature's Videnskabelige data , David Rosenbergs medforfattere udviklede et online-undersøgelsesværktøj til at vurdere reproducerbarheden af ​​publiceret forskning. Holdet gennemgik 360 artikler fra seks vandressourcetidsskrifter udgivet i 2017. Ud af 360 artikler, de kunne kun fuldt ud gengive resultater fra fire artikler.

"Vores undersøgelsesværktøj nedbryder begrebet videnskabelig reproducerbarhed i specifikke komponenter af datatilgængelighed, reproducerbarhed af resultater og replikerbarhed af resultater, sagde Rosenberg, lektor i civil- og miljøteknik ved USU. "Vi foreslår derefter, hvordan forfattere, journaler, finansiører og institutioner kan bruge undersøgelsesværktøjet til at øge lave reproducerbarhedsrater."

Forfatterne siger, at reproducerbarhed kan opdeles i tre komponenter:

• Er data, modeller, kode, brugsanvisning og andre artefakter brugt i det tilgængelige værk?
• Kan artefakter bruges til at gengive offentliggjorte resultater?
• Kan resultaterne replikeres med nye datasæt?

Holdets online-undersøgelsesværktøj består af 15 spørgsmål og giver en tjekliste over de væsentlige elementer, der er nødvendige for artefakttilgængelighed og resultatreproducerbarhed. Artefakter er en paraplybetegnelse for alle data, software, modeller, kode, anvisninger og andet materiale, der er nødvendigt for at gengive resultater i en undersøgelse.

Holdet fandt ud af, at omkring 70 procent af artiklerne i stikprøven angav, at nogle materialer var tilgængelige, men kun omkring 48 procent af materialerne kunne tilgås online. Kun omkring seks procent af artiklerne i stikprøven gjorde artefakter offentligt tilgængelige, og kun én procent af de udtagne artikler stillede artefakter til rådighed og kunne reproduceres fuldt ud.

Forfatterne sagde, at mange artikler manglede retninger til at generere resultater. Hvis forfattere giver anvisninger, de siger, antallet af artikler, der kunne testes for reproducerbarhed, ville fordobles. Artikler, der gjorde alle artefakter tilgængelige, havde en chance på seks ud af 10 for at få nogle eller alle deres resultater gengivet. To tidsskrifter undersøgt af holdet krævede artikler for at angive, hvordan artefakter kan tilgås, og fire tidsskrifter opfordrede til udtalelser. Ingen tidsskrifter krævede forfattere for at gøre alle artefakter tilgængelige.

Undersøgelsesværktøjet kan hjælpe med at genkende og opmuntre forfattere til at opnå bestemte reproducerbarhedsniveauer. For eksempel, forfattere kan bruge undersøgelsesværktøjet til selv at vurdere reproducerbarheden af ​​deres resultater. Rosenberg og hans team anbefaler også et medaljesystem til at genkende forskellige niveauer af reproducerbarhed:

• Bronzemedalje:Alle artefakter er gjort tilgængelige i artiklen eller i åbne depoter
• Sølvmedalje:Alle artefakter er gjort tilgængelige, og resultaterne er fuldt reproducerbare
• Guldmedalje:Resultaterne er fuldt reproducerbare, og overordnede resultater kan replikeres i forskellige omgivelser med samme eller forskellige artefakter

Rosenberg anbefaler, at medaljeikoner placeres ved siden af ​​onlineartikler for at anerkende forfattere for deres reproducerbarhedsarbejde og gøre det nemmere for læserne at finde den bedste reproducerbarhedspraksis. Rosenberg og hans team tildelte fire sølvmedaljer og seks bronzemedaljer ud af de 360 ​​artikler, de anmeldte. Tildeling af guldmedaljer for gentagelse af resultater er fortsat en vigtig linje i fremtidens arbejde.

"Vi håber, at undersøgelsesværktøjet vil hjælpe med at skubbe forfattere, journaler, finansieringsmidler og institutioner for at gøre videnskabeligt arbejde mere reproducerbart, "sagde Rosenberg." Vi glæder os over diskussion for at forbedre undersøgelsesværktøjet og for at forbedre reproducerbarheden af ​​vores videnskab. "