Videnskaben skal kigge indad for at komme videre

Omkring et år efter at hun blev udnævnt til en senior redaktionel rolle ved et akademisk tidsskrift, psykologiforsker professor Simine Vazire blev formanet for at forstyrre fremtrædende forskere ved at "skrivebordsafvise" deres papirer.

Hun var chokeret.

Skrivebordsafvisning er, når et papir afvises af redaktøren, før det sendes ud til anmeldere - omkring 30 procent af papirerne i dette tidsskrift blev typisk afvist på skrivebordet.

Professor Vazire afviste papirerne, fordi hun mente, at de havde alvorlige fejl. Men den komité, der udpegede hende, var bekymret over, at kendte forskere oprørte, tidsskriftets omdømme kan bringes i fare.

"Jeg gjorde dem opmærksom på, at de ikke kunne udøve denne indflydelse bag kulisserne uden at annoncere en ny politik eller have et videnskabeligt grundlag for det, " siger professor Vazire. "Men det faktum, at de var så overraskede over min modstand, fik mig til at indse, hvor meget det var den måde, tingene typisk fungerede på."

Professor Vazires erfaring er en del af et bredere langvarigt problem inden for forskning, hvor store undersøgelser har fundet ud af, at betydelige mængder publiceret forskning i mange discipliner ikke kan valideres med opfølgende undersøgelser - det vil sige, at resultaterne ikke kan replikeres, så resultaterne i tvivl.

Dette har sat fokus på tidsskrifters fejlbarligheder, de peer review-vurderinger, de er afhængige af, og den hyperkonkurrencedygtige akademiske verden, hvor forskere ofte bedømmes fuldt ud på, hvor meget de udgiver og i hvilke 'velrenommerede' tidsskrifter.

Det betyder, at forskere og deres institutioner kan blive fristet til at hype resultater.

"Som redaktør Jeg har haft diskussioner med forfattere, hvor jeg har fortalt dem, at jeg kun vil acceptere deres papir, hvis det er indrammet mere forsigtigt og, ved et par lejligheder, forfattere har simpelthen nægtet og gået hen og publiceret andre steder, " siger professor Vazire.

Nylige tilbagetrækninger fra meget velrenommerede medicinske tidsskrifter The Lancet og New England Journal of Medicine vedrørende forskning i potentiel COVID-19-medicin, der var afhængig af mangelfulde data, har kun fremhævet problemets hastende karakter.

Åbne videnskabelige initiativer som deling af data og udarbejdelse af en forskningsplan forud for forskningen (forhåndsregistrering) søger at løse disse problemer.

Og sideløbende med denne udvikling, en ny forskningsdisciplin er også dukket op - metavidenskab.

"Metavidenskab er et felt, der studerer normer, praksis og incitamenter inden for videnskab. Den gør status over nye åbne videnskabsinitiativer, og overvåger og evaluerer deres virkninger.

"Det strider mod videnskabens filosofi og sociologi, men arbejder i videnskabens tjeneste ved at søge at sikre, at forskningen er mere robust, " siger professor Fiona Fidler, en reproducerbarhedsekspert ved University of Melbourne.

Sammen, Professor Fidler og professor Vazire har etableret en ny forskergruppe på universitetet, MetaMelb. Det er den største metavidenskabelige forskningsgruppe i Australien.

Gruppen vil studere en række metavidenskabelige spørgsmål, på tværs af flere discipliner, herunder psykologi, økologi og medicin, ved hjælp af en bred vifte af kvantitative og kvalitative tilgange.

Et sådant spørgsmål er, om incitamenter til at dele data, som at tildele åbne data-badges, resultere i mere reproducerbare resultater. Et andet projekt ser på, hvordan afsløring af fejlene i videnskaben kan påvirke offentlighedens syn på, og stole på, videnskab.

Frygt for, at videnskabens troværdighed er på spil, er tidligere blevet brugt som en begrundelse for ikke at være på forhånd om problemer.

Men, underminerer videnskaben at være mere åben og gennemsigtig virkelig offentlighedens tro på videnskaben, eller øger den faktisk denne tro?

"Jeg har været i lokaler, hvor konsensus har været, at vi skulle feje problemer under gulvtæppet på grund af risikoen for at gøre folk anti-videnskab, men jeg formoder, at den langt større risiko er ikke at være på forhånd med offentligheden, " siger professor Vazire.

Endnu et stort projekt i gang, finansieret af den amerikanske regerings Defense Advanced Research Projects Agency (DARPA), er et forsøg på effektivt at samle ekspert-peer review fra en gruppe af eksperter.

RepliCATS-projektet (Collaborative Assessment for Trustworthy Science) har rekrutteret 500 eksperter over hele verden til at forudsige replikerbarheden af ​​3000 forskningsartikler fra samfundsvidenskaberne i små teams, der arbejder sammen online.

DARPA har for nylig udvidet projektet til hurtigst muligt at vurdere 100 artikler relateret til COVID-19 samfundsvidenskabelig forskning.

Endnu et initiativ fra MetaMelb er udviklingen af ​​konkrete retningslinjer, som peer reviewere kan bruge til at vurdere forskningsmetoder og resultater mere ensartet, levere en slags tjekliste.

Dette vil omfatte at opmuntre fagfællebedømmere til at vurdere, om forskning er skrevet på, hvad professor Vazire kalder en "intellektuelt ydmyg" måde. Hvis et blad i stedet udviser intellektuel arrogance, det ville være et øjeblikkeligt signal for peer reviewere om at være på vagt, hun siger.

"Intellektuel ydmyghed handler om at sikre, at du giver de mennesker, der kritiserer dit arbejde, al den ammunition, de behøver for at finde fejl i dit arbejde, " siger professor Vazire.

"Så det betyder, at i deres skriftlige introduktion, for eksempel, en forsker bør ikke bare vælge information afhængigt af hvilken side af en debat de er på eller, at i deres afsnit om metoder og resultater, de nævner heller ikke kun resultater, der passer bedst til deres argumentation."

Tjeklisten vil også henvise anmeldere til specifikt at vurdere visse aspekter af forskningen, som om stikprøvestørrelsen retfærdiggør konklusionerne, eller om forskningsmetoderne er stringente.

"Peer reviewers er berygtede for ikke at være enige, men hvis de bliver stillet specifikke spørgsmål, vil vi måske få mere enighed om styrken af ​​et stykke forskning, " siger professor Vazire.

Men for at initiativer som disse skal virke, der skal indføres incitamenter for at belønne peer reviewers, tidsskrifter og forskere for at være mere gennemsigtige.

En idé derude er at gøre peer reviews mere offentlige, anerkender anmelderens bidrag.

"Spørgsmålet om at skabe de rigtige incitamenter er et vigtigt forskningsområde for os, siger professor Fidler.

Ultimativt, begge mener, at de rigtige incitamenter og praksis kan indføres for at gøre videnskaben mere gennemsigtig og robust. Men nøglen vil være at ændre de akademiske og institutionelle kulturer og belønningssystemer, der bidrager til problemet.

"Et af de største problemer, vi har i øjeblikket, er den måde, institutioner bedømmer præstationer og forfremmelse på internt, siger professor Fidler.

I Storbritannien, indsatsen for at sikre robust forskning har ført til oprettelsen af ​​det britiske reproducerbare netværk, et konsortium, der hidtil har tiltrukket 15 universiteter og gymnasier.

Professor Fidler arbejder sammen med kolleger om at etablere et lignende konsortium i Australien.

For professor Vazire, om forskere og institutioner vil være parate til at tage ny praksis og større gennemsigtighed til sig, vil være afgørende.

"Ting ændrer sig bestemt - mere forskning bliver delt før peer review og publicering, hvilket giver mulighed for en bredere undersøgelse. Og, ærligt talt, sociale medieplatforme som Twitter bliver stadig vigtigere til at granske papirer og identificere styrker og mangler.

"Jeg er overbevist om, at mulighederne vil være der for at gøre tingene bedre, men vi har brug for, at forskningsmiljøet samles og rent faktisk udnytter disse nye muligheder."