Kan tilbuddet om valgmuligheder til forskere mindske forskerbias?

Peer review af høj kvalitet har aldrig været vigtigere for at validere den videnskab, vi udgiver. Med forskningsintegritet, der jævnligt rammer overskrifterne, især da COVID-pandemien, spiller udgivere og anmeldere en afgørende rolle i at sikre, at robust, pålidelig forskning bliver offentliggjort, og det gør fejlbehæftede værker ikke.

Rygraden for at opretholde integriteten er peer review, hvor eksperter inden for samme felt vurderer kvaliteten af ​​forskning. Processen er designet til at sikre høje standarder, hjælpe med at forbedre lovende arbejde og luge ud i problematiske papirer, men der er nogle fejl i processen.

Peer review-fejl

Et veldokumenteret problem er bias i peer review. Uanset om det er bevidst eller andet, kompromitterer det retfærdig dømmekraft baseret på ting som køn, navn, nationalitet, tilhørsforhold eller karrierestatus. For at afbøde dette, introduceres nye peer review-tilgange og testes for deres effektivitet.

En sådan tilgang er dobbelt-anonym peer review, hvor identiteten på forfattere såvel som anmeldere er skjult. Institute of Physics var den første STM-udgiver, der tilbød dobbelt-anonym peer review på tværs af alle vores propriety-tidsskrifter. Flytningen er en del af vores dedikation til at tackle ulighed i den videnskabelige udgivelsesproces. Vi har valgt at implementere dobbelt-anonym på frivillig basis for at give vores forfattere valget og hjælpe os med at undersøge effektiviteten af ​​denne tilgang som et værktøj mod bias. Vi håber, at forfattere anerkender fordelene ved, at forskning bedømmes ud fra fortjeneste frem for faktorer såsom prestige af den institution, de arbejder for.

De første resultater er opmuntrende, faktisk anonymiserede nobelpristageren Novoselov for nylig sit manuskript, da han indsendte sit arbejde til et af vores tidsskrifter, hvilket demonstrerede en tro på udgivelsessystemet og en tillid til forskningens kvalitet i stedet for at stole på deres etablerede omdømme. Men spørgsmålet er, hvis vi ikke håndhæver dobbelt-anonym og blot opmuntrer til det, ser vi så en reduktion i peer review-bias overhovedet? Er der overhovedet en bias mod dobbelt-anonyme artikler, hvor anmeldere antager, at forfatteren kan skjule deres identitet af en grund? For at sætte dette spørgsmål på prøve i publicering samarbejdede vi med forskere fra University of Michigan og leverede data om vores rejse til dobbeltanonym peer review.

Jævning af spillefeltet

Forskerne så på indlæg fra et stort antal forskere - 390.000 forfattere og 168.000 anmeldere fra hele kloden. Resultatet af undersøgelsen er opmuntrende og viser, at tilbud om dobbeltanonyme peer review øger sandsynligheden for positive anmelderanbefalinger for lavprestige forfattere med 2,4 % og sænker den for middel- og højciterede forfattere med henholdsvis 1,8 % og 1 %. .

Men det mest spændende fund var det faktum, at politikken har de største effekter på at reducere prestige-bias på endelige papirbeslutninger, hvilket øger accepten af ​​lavprestige forfattere med 5,6 %, mens den sænker den med 4,6 % og 2,2 % for mellem- og høje citater henholdsvis forfattere. Kort sagt, dobbelt-anonym peer review udjævner vilkårene. Vi mangler endnu formelt at undersøge indvirkningen på andre typer bias, f.eks. køn og geografi, selvom de første resultater ser spændende ud, hvor forskere fra nogle dele af verden har dobbelt så stor sandsynlighed for at få deres arbejde accepteret under den dobbelte anonyme metode.

At tilbyde forskere et valg frem for at tvinge dem giver nogle af fordelene ved vanskelige at implementere politikker til en uhyre lavere pris. Og selvom resultaterne er opmuntrende, mener vi, at dobbelt-anonym peer review kun er én metode til støtte for større integritet af forskning. Som sektor er vi nødt til at arbejde sammen om at udvikle bedste praksis og støtte og uddanne forskere i deres ræsonnement og konsekvenserne af deres publiceringsvalg. + Udforsk yderligere

Tidsskriftsundersøgelse tyder på at tvinge åben peer review kan føre til mere bias

Denne historie er genudgivet med tilladelse fra IOP Publishing. Læs den originale historie her.