Hvornår skal man stole på (og ikke stole på) peer reviewed videnskab

Ordene "publiceret i et peer reviewed journal" betragtes nogle gange som guldstandarden i videnskaben. Men enhver professionel videnskabsmand vil fortælle dig, at det faktum, at en artikel har gennemgået peer review, er langt fra en jernbeklædt garanti for kvalitet.

At vide, hvilken videnskab du bør virkelig stoler på, at du skal afveje de subtile indikatorer, som videnskabsmænd overvejer.

Journal omdømme

Status for det tidsskrift, hvor et papir er publiceret, er det første.

For hvert videnskabeligt område, brede tidsskrifter (som Nature, Videnskab og Proceedings of the National Academy of Science ) og mange flere fagtidsskrifter (som f.eks Journal of Biological Chemistry ) er ledig. Men det er vigtigt at erkende, at hierarkier eksisterer.

Nogle tidsskrifter anses for at være mere prestigefyldte, eller helt ærligt, bedre end andre. "Påvirkningsfaktoren" (som afspejler, hvor mange citater artikler i tidsskriftet tiltrækker) er en enkel, hvis en kontroversiel foranstaltning, om vigtigheden af ​​en journal.

I praksis har enhver forsker en mental liste over de mest relevante tidsskrifter i sit hoved. Når du vælger, hvor du vil udgive, hver videnskabsmand foretager deres egen vurdering af, hvor interessante og pålidelige deres nye resultater er.

Hvis forfattere sigter for højt med deres måltidsskrift, så vil redaktøren formentlig afvise papiret med det samme på baggrund af "interesse" (inden overhovedet at overveje videnskabelig kvalitet).

Hvis en forfatter sigter for lavt, så kunne de sælge sig selv kort – dette kunne repræsentere en forpasset mulighed for et trofæpapir i et toptidsskrift, som alle ville anerkende som betydningsfuldt (hvis kun på grund af, hvor det blev offentliggjort).

Forskere fortæller nogle gange deres papir op i et følgebrev til redaktøren, og sigter efter et tidsskrift en rang over, hvor de forventer, at manuskriptet til sidst ender. Hvis deres papir bliver accepteret, er de glade. Hvis ikke, de indsender igen til en lavere rangeret, eller i standard eufemismen, et "mere specialiseret tidsskrift". Dette spilder tid og kræfter, men er virkeligheden af ​​livet i videnskaben.

Hverken redaktører eller forfattere kan lide at tage fejl. De afvejer presset for at bryde en historie med en stor overskrift mod frygten for at begå en fejl. En fejl i denne sammenhæng betyder at offentliggøre et resultat, der hurtigt bliver indviklet i kontroverser.

For at sikre sig mod det, tre eller fire peer reviewers (erfarne eksperter på området) udpeges af redaktøren til at hjælpe.

Peer review-processen

På tidspunktet for indsendelse af et papir, forfatterne kan foreslå anmeldere, som de mener er passende kvalificerede. Men redaktøren vil træffe det endelige valg, baseret på deres forståelse af feltet og også på, hvor godt og hvor hurtigt anmelderne reagerer på opgaven.

Identiteten af ​​peer reviewere holdes normalt hemmeligt, så de frit kan kommentere (men nogle gange betyder det, at de er ret barske). Peer reviewerne vil gentage jobbet som redaktør, og rådgive om, hvorvidt papiret har tilstrækkelig interesse for tidsskriftet. Vigtigere, de vil også evaluere videnskabens robusthed og om konklusionerne understøttes af beviserne.

Dette er det kritiske "peer review"-trin. I praksis, selvom, kontrolniveauet forbliver forbundet med journalens status. Hvis værket overvejes til et toptidsskrift, kontrollen vil være intens. Toptidsskrifterne accepterer sjældent papirer, medmindre de anser dem for ikke kun at være interessante, men også vandtætte og skudsikre – det vil sige, at de mener, at resultatet er noget, der vil stå tidens tand.

Hvis, på den anden side, værket går ind i en lidt læst journal med en lav impact factor, så vil anmelderne nogle gange være mere tilgivende. De vil stadig forvente videnskabelig stringens, men vil sandsynligvis acceptere nogle data som inkonklusive, forudsat at forskerne påpeger begrænsningerne i deres arbejde.

Ved at det er sådan processen forløber, hver gang en forsker læser et papir, noterer de sig, hvor arbejdet blev offentliggjort.

Journal impact factor

De fleste tidsskrifter er pålidelige. Men i bunden af ​​listen med hensyn til gennemslagskraft ligger to typer tidsskrifter:

1. respektable tidsskrifter, der offentliggør peer-reviewede resultater, der er solide, men af ​​begrænset interesse – da de kan repræsentere blindgyder eller meget specialiserede lokale emner
2. såkaldte "predatory" tidsskrifter, som er mere skumle – i disse tidsskrifter er peer review-processen enten overfladisk eller ikke-eksisterende, og redaktører opkræver i det væsentlige forfattere for privilegiet at udgive.

Professionelle videnskabsmænd vil skelne mellem de to, delvist baseret på forlaget, og endda navnet på journalen.

Det Offentligt Videnskabsbibliotek (PLOS) er en velrenommeret udgiver, og tilbyder PLOS ONE for solid videnskab – også selvom den måske kun appellerer til et begrænset publikum.

Springer Nature har lanceret et lignende tidsskrift kaldet Videnskabelige rapporter . Andre tidsskrifter af god kvalitet med lavere effektfaktorer omfatter tidsskrifter fra specialiserede akademiske samfund i lande med mindre befolkningsgrupper – de vil aldrig nå et stort publikum, men arbejdet kan være stensikkert.

Rovtidsskrifter på den anden side er ofte brede i skala, udgivet af onlineudgivere, der administrerer mange titler, og nogle gange har ordet "international" i titlen. De søger at høste et stort antal papirer for at maksimere fortjenesten. Så navne som International Journal of Science skal behandles med forsigtighed, hvorimod Journal of the Australian Bee Society kan meget vel være pålidelig (bemærk, Jeg opfandt disse navne bare for at illustrere pointen).

Værdien af ​​et tidsskrift kontra et enkelt papir

Påvirkningsfaktorer er blevet kontroversielle, fordi de er blevet overbrugt som en proxy for kvaliteten af ​​enkelte papirer. Imidlertid, strengt anvendt afspejler de kun den interesse, et tidsskrift tiltrækker, og kan afhænge af nogle få "jackpot"-papirer, der "går viralt" med hensyn til akkumulering af citater.

Derudover mens artikler i højtydende tidsskrifter kan have gennemgået mere granskning, der er mere pres på redaktørerne og på forfatterne af disse toptidsskrifter. Det betyder, at genveje kan tages oftere, den sidste, afgørende kontroleksperiment vil måske aldrig blive udført, og tidsskrifterne ender med at være mindre pålidelige, end deres omdømme antyder. Denne afbrydelse genererer nogle gange sniking om, hvordan visse tidsskrifter ikke er så gode, som de hævder at være – hvilket faktisk holder alle på tæerne.

Mens alle kontroverserne omkring påvirkningsfaktorer er reelle, enhver forsker kender og tænker på dem eller andre tidsskriftsrangeringssystemer (SNP – Source Normalized Impact per Paper, SJR – Scientific Journal Rankings, og andre), når de vælger hvilket tidsskrift de vil udgive i, hvilke papirer man skal læse, og hvilke papirer man kan stole på.

Intet er perfekt

Selvom alt er gjort ordentligt, peer review er ikke ufejlbarlig. Hvis forfattere forfalsker deres data meget smart, for eksempel, så kan det være svært at opdage.

Bevidst falsk data er, imidlertid, relativt sjældne. Ikke fordi videnskabsmænd er helgener, men fordi det er tåbeligt at forfalske data. Hvis resultaterne er vigtige, andre vil hurtigt forsøge at reproducere og bygge videre på dem. Hvis et falsk resultat offentliggøres i et toptidsskrift, er det næsten sikkert at blive opdaget. Dette sker fra tid til anden, og det er altid en skandale.

Fejl og sjusk er meget mere almindelige. Dette kan være relateret til den stigende hastende, pres for at publicere og udbredelsen af ​​store hold, hvor ingen måske forstår al videnskaben. Igen, imidlertid, kun uvæsentlige fejl vil overleve – de vigtigste fejl bliver hurtigt opfanget.

Kan du stole på det bygningsværk, der er moderne videnskab?

Som regel, man kan få en fornemmelse af, hvor sandsynligt det er, at et stykke peer reviewed videnskab er solidt. Dette kommer gennem at stole på kombinationen af ​​forfatternes stolthed og omdømme, og af tidsskriftsredaktørerne, og af peer reviewerne.

Så jeg stoler på kombinationen af ​​peer review-system og det iboende faktum, at videnskab er bygget på tidligere grundlag. Hvis de er rystende, revnerne kommer hurtigt frem, og tingene vil blive rettet.

Jeg er også opmuntret af nye muligheder for endnu bedre og hurtigere systemer, der opstår som følge af fremskridt inden for informationsteknologi. Disse omfatter modeller for peer review efter udgivelse (i stedet for før udgivelse). Måske skaber dette en måde at formalisere diskussioner, der ellers ville ske på Twitter, og det kan rejse tvivl om gyldigheden af ​​offentliggjorte resultater.

Tidsskriftet eLife vender peer review på hovedet. Det tilbyder at udgive alt, hvad det anser for at være af tilstrækkelig interesse, og så lade forfatterne vælge at besvare eller ikke besvare punkter, der rejses i peer review efter accept af manuskriptet. Forfattere kan endda vælge at afstå fra at gå videre, hvis de mener, at peer-reivewers pointer afslører arbejdet som mangelfuldt.

ELife har også et system, hvor anmeldere samles og giver en enkelt modereret anmeldelse, hvortil deres navne er knyttet, og som er offentliggjort. Dette forhindrer problemet med anonymitet, hvilket muliggør alt for hårdhændet behandling.

Alt i alt, vi bør føle os sikre på, at vigtig videnskab er solid (og perifer videnskab uvalideret) på grund af peer review, gennemsigtighed, granskning og gengivelse af resultater i videnskabelig publikation. Ikke desto mindre på nogle områder, hvor reproduktion er sjælden eller umulig – langtidsstudier afhængigt af komplekse statistiske data – er det sandsynligt, at den videnskabelige debat vil fortsætte.

Men selv på disse områder, andre forskeres endeløse granskning, sammen med forfatteres og tidsskrifters stolt bevogtede omdømme, betyder, at selvom det aldrig bliver perfekt, den videnskabelige metode forbliver mere pålidelig end alle de andre.

Denne artikel blev oprindeligt publiceret på The Conversation. Læs den originale artikel.