Skift mod åben peer review

For tyve år siden, det var svært at finde information om lokale restauranter, undtagen fra restauranterne selv. Nu, takket være internettet, uafhængige evalueringer er nemme at finde. Det er tidligere tid, vi gør det tilfældet for videnskabelig forskning, også.

Ved dens grænse, videnskab er upoleret og ujævn. Resultaterne kommer fra nye maskiner eller procedurer. Ofte er disse ikke fuldt ud forstået - som Einstein hævdes at have sagt:"hvis vi vidste, hvad vi gjorde, det ville ikke blive kaldt forskning."

Ydmyghed er derfor vigtig, men du vil ikke altid finde det i de populære beretninger, der udbasunerer nyt værk. Til en vis grad, det afspejler, hvordan forskerne selv fremstiller deres arbejde. Vi videnskabsmænd foretrækker nogle gange at fjerne enhver mulighed for, at vores resultater afspejler en fejl. Vi har også en tendens til at være overoptimistiske over, at vores resultater er af bred generel karakter, snarere end at være betinget af meget specifikke omstændigheder.

Hos videnskabsmænd, som folk generelt, skævheder er uundgåelige. For at undgå at være for sikker i videnskabelige konklusioner, derefter, vi er nødt til at se holdningerne på begge sider af et spørgsmål. Desværre, imidlertid, mange uenigheder blandt forskere bliver systematisk skjult frem for at afsløre.

Nye resultater gennemgår noget, der kaldes "peer review". Den peer review afslører ofte kompleksiteten, usikkerhed, og uenighed iboende i banebrydende arbejde, men det er ikke gjort tilgængeligt for offentligheden.

Som resultat, videnskaben set af offentligheden er meget mere sikker, universel, og ukontroversiel, end den faktisk er.

Peer review-processen

Mennesker er partiske skabninger. Hemmeligt eller ikke så hemmeligt, forskere vil juble over deres yndlingsteorier. Individuelle videnskabelige vurderinger, derfor, skal man ikke stole blindt på.

Heldigvis, vi forskere er ofte i dialog med hinanden. Når jeg præsenterer mit arbejde, Jeg bliver ofte tilskyndet til at se mere på mine egne ideer, og på strengheden af ​​mine metoder. Jeg bliver trukket til den erkendelse, at mine kritikere faktisk har ret i nogle ting.

Meget af dette frem og tilbage sker i journal peer review. Efter at jeg har indsendt en artikel til et tidsskrift, en redaktør sender den til to eller tre andre forskere. Disse "peer reviewers, "som ofte er hentet fra verdens førende eksperter om artiklens emne, har til opgave at evaluere artiklen og de undersøgelser, den rapporterer.

Eksperternes kommentarer kan være en blanding af kritik og ros, med tanker om analyser af data, de anvendte procedurer, præcis hvordan resultaterne sammenlignes med resultaterne fra tidligere arbejde, og styrken af ​​det præsenterede bevis for min artikels konklusioner.

Selv i de tilfælde, hvor peer reviews er korte, de omfatter eksperternes godkendelse af særlige aspekter af en artikel hvilket ville være meget værdifuldt for nogle læsere.

Nogle gange er anmeldelserne ret lange, og viden i dem kan ikke findes andre steder. For eksempel, de sidste tre peer reviews, som jeg skrev, var hver over tusind ord, kommer ind på seksten siders tekst alt sammen. Mange af de individuelle kommentarer er af ringe interesse for nogen, der ikke arbejder i feltet, men tilsammen kan de tilføje bredere implikationer for konklusionernes troværdighed.

Forfattere reagerer typisk på peer reviews ved at inkorporere nogle af deres punkter, rette åbenlyse fejl, og flytte dele af deres argumentation for at reducere enhver afhængighed af tvivlsomme antagelser. Imidlertid, Forskerne undgår nogle gange direkte at adressere eventuelle kontroversielle spørgsmål, foretrækker i stedet at feje dem under tæppet. Peer reviewernes bekymringer kan så være uopdagelige for fremtidige læsere.

At undgå narrative omveje for at diskutere skavanker eller tvivlsomme antagelser kan være vigtigt for at komme igennem hovedpunktet i en undersøgelse. Dette er grunden til, at jeg laver mine egne artikler som en ryddig historie - eller det fortæller jeg mig selv. Jeg vil have mine artikler til at skinne. Jeg må indrømme, selvom, at jeg også ønsker, at læserne skal overse eventuelle spring på den vej, der fører til min konklusion.

En desinficeret version af videnskaben

Videnskabelige tidsskrifter betragter peer reviews som fortrolige, og tillad kun artiklens forfattere, de to eller tre anmeldere, og tidsskriftsredaktøren for at se dem. Hvad læserne og verden ser, derefter, er en desinficeret version af videnskaben. Forbrugerne af forskning – det være sig andre forskere, ingeniører, politiske beslutningstagere, journalister, eller medicinalfirmaer – er frataget oplysningerne i peer reviews.

Når du skriver en artikel om et nyt fund, journalister ender med selv at skulle sørge for ekstern evaluering. De ringer til alle eksperter, de kan finde, og spørger dem om mulige problemer. Ved at gøre sådan, de forsøger at genskabe en gennemgangsproces, der allerede er blevet udført. Sjældent vil de få så omfattende kommentarer som dem i den formelle peer review, og de får disse kommentarer for kun en lille brøkdel af de nye resultater, der offentliggøres hver dag.

Hvis evalueringen udført i den oprindelige peer review-proces var offentlig, nyhedskonti ville være mindre godtroende, og offentlig forståelse af videnskab kan være mere sofistikeret. Forskere, have fordelen af ​​at kunne læse peer review-kommentarer sammen med nyt arbejde, ville være mindre tilbøjelige til at antage, at et fund er solidt, en holdning, der bidrog til replikationskrisen.

Post-pandemi, en ny forskningsverden

Da udbruddet af coronavirus spredte sig sidste år, der var en bred erkendelse af, at peer review af COVID-forskning var for vigtig til at blive holdt bag lukkede døre. Forskere vurderede hurtigt nyt arbejde og postede deres kommentarer på internetfora som Twitter og forskningskommenterende websted PubPeer.

Noget af denne kritik blev opfanget af journalister og bidrog til tilbagetrækningen af ​​en usund undersøgelse af hydroxychloroquin samt hurtige rettelser af undersøgelser af infektionsrater.

Twitter-diskussioner kan være kaotiske, og twitter-algoritmen belønner ikke nuancer. De udskejelser, der har resulteret, er en grund til, at ikke alle forskere har bifaldet stigningen i åbne kommentarer, så med pandemiens forbigang, der er en fare for, at videnskaben kan krympe tilbage i sin skal. Heldigvis, offentlige peer review-initiativer designet af forskere, snarere end af sociale medievirksomheder, der ønsker at tjene penge på forargelse, har nu tiltrukket et betydeligt antal eksperter.

I løbet af de sidste tyve år, takket være noget, der kaldes "open access"-bevægelsen, vi har set andelen af ​​videnskabelige artikler, der kan læses gratis, gå fra et lille mindretal til næsten halvdelen. I løbet af de næste tyve år, at opnå reel offentlig forståelse af arten af ​​nye fund, vi skal også åbne op for peer review.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.