Peer review-systemet er i stykker. Vi spurgte akademikere, hvordan man løser det

Peer review-processen er en hjørnesten i moderne videnskab. Inden nyt arbejde publiceres i et akademisk tidsskrift, undersøger eksperter beviserne, forskningen og argumenterne for at sikre, at de hænger sammen.

Mange forfattere, anmeldere og redaktører har dog problemer med den måde, det moderne peer review-system fungerer på. Den kan være langsom, uigennemsigtig og klikagtig, og den kører på frivillig arbejdskraft fra allerede overanstrengte akademikere.

Sidste måned udtrykte en af ​​os (Kelly-Ann Allen) sin frustration over vanskelighederne med at finde peer reviewers på Twitter. Hundredvis af svar senere havde vi en enorm crowd-sourcet samling af kritik af peer review og forslag til, hvordan man kan gøre det bedre.

Forslagene til tidsskrifter, forlag og universiteter viser, at der er meget at gøre for at gøre peer review mere ansvarlig, retfærdig og inkluderende. Vi har sammenfattet vores fulde resultater nedenfor.

Som tidsskriftsredaktør er det svært at høre, at folk udgiver og ikke deltager i anmeldelse. Det bliver stadig sværere at finde anmeldere, og det skaber betydelige forsinkelser i udgivelsestidslinjer. #AcademicChatter @AcademicChatter https://t.co/FMFeqFnsrm

— Kelly-Ann Allen, Ph.D. #belonging #schoolbelonging (@drkellyallen) 6. juni 2022

Tre udfordringer ved peer review

Vi ser tre hovedudfordringer for peer review-systemet.

For det første kan peer review være udnyttende.

Mange af de virksomheder, der udgiver akademiske tidsskrifter, tjener på abonnementer og salg. Forfattere, redaktører og fagfællebedømmere giver dog generelt deres tid og kræfter på frivillig basis og udfører effektivt gratis arbejde.

Og mens peer review ofte ses som en kollektiv virksomhed i det akademiske samfund, er det i praksis en lille brøkdel af forskere, der udfører det meste af arbejdet. En undersøgelse af biomedicinske tidsskrifter viste, at i 2015 udførte kun 20 % af forskerne op til 94 % af peer reviewet.

Peer review kan være en 'sort boks'

Den anden udfordring er mangel på gennemsigtighed i peer review-processen.

Peer review udføres generelt anonymt:Forskere ved ikke, hvem der anmelder deres arbejde, og anmeldere ved ikke, hvis arbejde de anmelder. Dette giver plads til ærlighed, men kan også gøre processen mindre åben og ansvarlig.

Uigennemsigtigheden kan også undertrykke diskussion, beskytte skævheder og forringe kvaliteten af ​​anmeldelser.

Peer review kan være langsom

Den sidste udfordring er hastigheden af ​​peer review.

Når en forsker indsender et papir til et tidsskrift, kan de, hvis de kommer forbi den første afvisning, stå over for en lang ventetid på anmeldelse og eventuel offentliggørelse. Det er ikke ualmindeligt, at forskning udgives et år eller mere efter indsendelse.

Denne forsinkelse er dårlig for alle. For politiske beslutningstagere, ledere og offentligheden betyder det, at de muligvis træffer beslutninger baseret på forældede videnskabelige beviser. For forskere kan forsinkelser stoppe deres karriere, mens de venter på de publikationer, de har brug for for at få forfremmelser eller embedsperiode.

Forskere antyder, at forsinkelserne typisk er forårsaget af mangel på anmeldere. Mange akademikere rapporterer, at udfordrende arbejdsbyrder kan afskrække dem fra at deltage i peer review, og dette er blevet værre siden begyndelsen af ​​COVID-19-pandemien.

Det har også vist sig, at mange tidsskrifter er stærkt afhængige af amerikanske og europæiske anmeldere, hvilket begrænser størrelsen og mangfoldigheden af ​​puljen af ​​anmeldere.

Kan vi rette peer review?

Så hvad kan der gøres? De fleste af de konstruktive forslag fra den store Twitter-samtale nævnt tidligere faldt i tre kategorier.

For det første foreslog mange, at der burde være bedre incitamenter til at udføre peer reviews.

Dette kan omfatte udgivere, der betaler anmeldere (tidsskrifterne fra American Economic Association gør allerede dette) eller giver noget overskud til forskningsafdelinger. Tidsskrifter kan også tilbyde anmeldere gratis abonnementer, publikationsgebyrkuponer eller fast-track anmeldelser.

Vi bør dog erkende, at tidsskrifter, der tilbyder incitamenter, kan skabe nye problemer.

Et andet forslag er, at universiteterne kunne gøre det bedre med at anerkende peer review som en del af den akademiske arbejdsbyrde og måske belønne fremragende bidragydere til peer review.

Nogle Twitter-kommentatorer hævdede, at fastansatte forskere burde gennemgå et vist antal artikler hvert år. Andre mente, at der burde gøres mere for at støtte non-profit-tidsskrifter, da en nylig undersøgelse viste, at omkring 140 tidsskrifter alene i Australien ophørte med at udgive mellem 2011 og 2021.

De fleste respondenter var enige om, at interessekonflikter bør undgås. Nogle foreslåede databaser med eksperter ville gøre det lettere at finde relevante anmeldere.

Brug mere inkluderende rekrutteringsstrategier for peer review

Mange respondenter foreslog også, at tidsskrifter kan forbedre, hvordan de rekrutterer anmeldere, og hvilket arbejde de distribuerer. Ekspertbedømmere kunne udvælges på grundlag af metode- eller indholdsekspertise og blive bedt om at fokusere på dette element frem for begge dele.

Respondenterne hævdede også, at tidsskrifter burde gøre mere for at skræddersy deres invitationer til at målrette mod de mest relevante eksperter med en enklere proces til at acceptere eller afvise tilbuddet.

Andre mente, at flere ikke-ansatte lærde, ph.d. forskere, folk, der arbejder i relaterede industrier, og pensionerede eksperter bør rekrutteres. Mere peer review-uddannelse for kandidatstuderende og øget repræsentation for kvinder og underrepræsenterede minoriteter ville være en god start.

Genovervej dobbeltblind peer review

Nogle respondenter pegede på en voksende bevægelse i retning af mere åbne peer review-processer, hvilket kan skabe en mere menneskelig og gennemsigtig tilgang til review. For eksempel Royal Society Open Science offentliggør alle beslutninger, anmeldelsesbreve og frivillig identifikation af peer reviewere.

Et andet forslag til at fremskynde publiceringsprocessen var at prioritere tidsfølsom forskning højere.

Hvad kan gøres?

Det overordnede budskab fra den enorme respons på et enkelt tweet er, at der er behov for systemiske ændringer i peer review-processen.

Der er ingen mangel på ideer til, hvordan processen kan forbedres til gavn for forskere og den bredere offentlighed. Det vil dog være op til tidsskrifter, forlag og universiteter at omsætte dem i praksis og skabe et mere ansvarligt, retfærdigt og rummeligt system. + Udforsk yderligere

Rapport afslører fortsat global ubalance i fordelingen af ​​peer review

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.