Ekspertise inden for videnskab og beslutningen om hvad der kan publiceres

Da Einstein opdagede peer-review-processen...

I 1935, en for hurtig beregning fik Einstein til at tro, at gravitationsbølger ikke kunne eksistere inden for rammerne af den generelle relativitetsteori (disse bølger, kun observeret i 2016, er faktisk en hjørnesten i hans arbejde). Historien om hans første udgivelse er rigere end den subtile fejl bag den ...

For første gang, Einstein – som havde sendt sit manuskript til de prestigefyldte Fysisk gennemgang – stod over for det anonyme peer-review-system. Den skarpsindige anmelder, hvis identitet først blev afsløret i 2005, påpeget en fejl. Einstein var stærkt uenig i ideen om, at en redaktør kunne anmelde sit arbejde uden hans samtykke. Han sendte derefter sit manuskript til en anden anmeldelse, som besluttede at udgive den. Men da tiden kom til at tjekke manuskriptets korrektur, Einstein reviderede sit papir totalt. Denne historie, både eksemplarisk og enestående, illustrerer det komplekse forhold mellem forskerne og publikationerne.

Det daglige liv af ekspertise i videnskabelige publikationer

De tyske tidsskrifter, som Einstein publicerede i, havde en lav afvisningsrate for indsendte materialer, og var i stedet åbne for kontroverser og videnskabelige debatter. Alligevel, den enorme vækst i videnskabelig aktivitet tvang alle videnskabelige tidsskrifter til at følge eksemplet med Fysisk gennemgang , med en eller to (endog tre nogle gange) anonyme anmeldere.

I stedet for redaktøren, hvem er ansvarlig for udvælgelsen af ​​publikationerne, anmelderne er dem, der vurderer, om værket er gyldigt og fortjener den (temmelig subjektive) anerkendelse, der er knyttet til udgivelsen i en given anmeldelse. Yderligere kritik er stadig mulig:kommentarer til papirer kan offentliggøres efter godkendelse af en gennemgangsproces, eventuelt efterfulgt af et forfattersvar.

Når videnskabsmænd er kontaktet som mulige anmeldere af redaktøren, de har kun en kort periode til at acceptere. De vil have få uger – nogle gange endda mindre – til at afgive informerede udtalelser om manuskriptets egnethed. Dette ulønnede arbejde forbliver anonymt (med nogle undtagelser).

Fra min egen erfaring, den nødvendige tid kan variere fra en time til tre dage. Den ædle og spændende del af anmeldelse er, at processen med kritisk læsning og forfatterbesvarelser nogle gange skaber en slags "co-produktion" af det indhold, der til sidst optræder i tidsskriftet:Anmelderen hjælper ofte med at forbedre papirets læsbarhed og præsentation, og nogle gange foreslår anmelderen bredere åbninger, som ikke er nævnt af forfatterne. Anmelderen kan også opdage små eller endda alvorlige fejl, selvom de generelt ikke er kritiske for værkets konklusion, som dermed er fri for fejl ved endelig publicering.

At finde gode anmeldere:den svære del af en redaktørs job

At finde tilgængelige anmeldere er en vanskelig opgave for tidsskriftsredaktører. Specialister med både den nødvendige ekspertise og et tilstrækkeligt stort udsyn til feltet er sjældne. De er travle mennesker, og foretrækker ofte at gennemgå manuskripter, når de introducerer nye ideer, frem for at vurdere rigtigheden af ​​et blot inkrementelt papir. Forskere i den tidlige karriere er ofte mere åbne, da de kan nyde at deltage i peer-review-processen, som er kernen i det akademiske system, de ønsker at tilslutte sig.

Et problem er væksten i antallet af indsendte manuskripter, som igen kræver flere og flere anmeldere. Redaktøren kan ikke rigtig kende – hverken videnskabeligt eller for kvaliteten af ​​deres etik – alle de anmeldere, han har i sin pulje, og dette kan føre til en række skævheder.

Forfattere bliver ofte opfordret eller endda bedt om at foreslå mulige anmeldere til deres artikler. For en god dagbog, dette kan være en måde at præcist identificere manuskriptets underdomæne og vil gøre det lettere at finde anerkendte eksperter. Det er klart godt, når den oprindelige anmelder nægter at indsende en rapport, fordi han eller hun ikke er tæt nok på forskningsfeltet, men kan stadig identificere en eller flere eksperter, som redaktøren ikke ville have været i stand til at identificere. Med tidsskrifter af lavere kvalitet, redaktøren kan beslutte sig for dovent at følge forfatternes forslag, med risiko for at blive orienteret til venner eller til folk fra det samme lille samfund, der forsøger at overdrive vigtigheden af ​​deres eget felt. Værre endnu, de foreslåede anmeldere kan nogle gange være forfatterne selv, skjult bag et elektronisk alias, der bærer navnet på en formodet specialist.

Den anonyme dommerproces kan også have andre ulemper. Mere end et par forskere kender nogen, hvis papir blev afvist, men hvis idé mirakuløst dukker op igen under navnet på en kollega, der blev foreslået som anmelder. Problemet er blevet reduceret ved udviklingen af ​​websteder, der udgiver fortryk. Praksis med "anonyme" anmeldere, der beder om, at der tilføjes en reference til deres egne værker, er relativt almindelig, men ofte gennemsigtige.

Anerkendte tidsskrifter, rovdyr, og anden dårlig praksis

Presset for at udgive – det berømte "publicer eller gå til grunde" – og tilfældighedernes rolle i enhver ekspertise betyder, at ethvert rimeligt manuskript uden grove fejl vil ende med at blive offentliggjort, selv efter afvisning af et eller flere tidsskrifter. I stedet for at være unormal, dette forklarer, hvordan et hierarki af tidsskrifter kan etableres. Fordi online publikationer er virkelig billige sammenlignet med trykte, "rove" tidsskrifter ser nu ud til at hævde at være "peer-reviewed". Sådanne publikationer, let genkendes af sande videnskabsmænd, mod betaling udgive ethvert værk, der hævder at være for et videnskabeligt publikum, og give en vag "dommerrapport".

Denne vildledende praksis dukker op, fordi der er en betydelig vækst i de videregående uddannelser på verdensplan. I de fleste tilfælde, omkostningerne ved at publicere i sådanne undertrykkende anmeldelser vil blive faktureret til universitetet selv, og for fakulteter fra perifere institutioner, udgivelse kan være rentabelt i form af anerkendelse og karrierefremgang. Lignende praksis i dommerprocessen forekommer også lejlighedsvis inden for humaniora og samfundsvidenskab, hvor nonsenstekster, der ligner akademisk arbejde, nogle gange computergenereret, kan bestå "dommerprocessen".

Nogle veje til forbedring

"Peer-review" er afgørende for videnskabens fremskridt. Imidlertid, standarden for publikationer med anmeldere påvirkes af udviklingen af ​​onlinepublikationer og det stigende antal artikler. Nogle veje er værd at overveje for at forbedre systemet:

• Granskerrapporter kan gøres tilgængelige online, hjælpe læserne med at forstå konteksten af ​​værket og dets udgivelse, som enhver kritiker af et værk, også i kunst og videnskab. Sådan en praksis er nu ved at blive testet af nogle tidsskrifter. Det er også en måde at fastslå kvaliteten af ​​et tidsskrift gennem dets evne til at udvælge passende og skarpe dommere.
• Nogle anmeldelser på højt niveau har overvejet en midlertidig elektronisk indbetaling, åben for kommentarer fra forskere inden for det relevante område, før der tages stilling til valideringen som en publikation. Dette ville kun være tilgængeligt for frivillige læsere, og når kommentarerne er positive. Højst sandsynlig, et sådant system ville kun fungere for topaviser, der sandsynligvis vil tiltrække kendte specialister som læsere.
• At kræve, at indlæg og de kommentarer, de modtager, spores fra tidsskrift til tidsskrift, ville begrænse publiceringen af ​​værker af lavere kvalitet. I øjeblikket, et manuskript, der er afvist af én anmeldelse, sendes fri for kritik, når det indsendes til en anden, undtagen når de to er inden for samme redaktionsgruppe. At vise, at man forbedrede et stykke forskning som svar på kritik, er ikke en indrømmelse af fiasko, men naturligt og prisværdigt.

Som forfatter, Jeg ville være mere sikker på at modtage en retfærdig vurdering fra et tidsskrift for et manuskript, hvis jeg kunne vise, hvordan det blev forbedret af kommentarerne modtaget under en tidligere indsendelse. I øjeblikket, Jeg har på fornemmelsen, at jeg ville krænke det første tidsskrifts og dets dommeres intellektuelle ejendomsret. og derfor undlade at vedhæfte sådant materiale.

Denne artikel blev oprindeligt publiceret på The Conversation. Læs den originale artikel.