Forskere opfordrer til reform af rangeringer og indekser af videnskabelige tidsskrifter

Forskere er vant til at blive evalueret ud fra indekser som påvirkningsfaktorerne for de videnskabelige tidsskrifter, hvor de udgiver artikler, og deres antal citater. Et hold på 14 naturvidenskabsmænd fra ni lande gør nu oprør mod denne praksis, argumenterer for, at obsessiv brug af indekser skader videnskabens kvalitet.

"Vores budskab er helt klart:Akademikere bør holde op med at bekymre sig for meget om indekser. I stedet, vi bør arbejde mere med stipendiet og kvaliteten af ​​forskning, " siger professor Colin Chapman fra Institut for Antropologi ved George Washington University i Washington.

"Den overdrevne afhængighed af indekser fjerner opmærksomheden fra kvaliteten af ​​videnskaben. Systemet fungerer fint for erfarne forskere som Colin Chapman og mig selv, men yngre forskere og deres karrierer lider på grund af den måde, indekser bruges på i dag, " tilføjer professor Nils Chr. Stenseth ved Universitetet i Oslo.

Indeks måler ikke kvalitet

Chapman og Stenseth er to af forfatterne bag en opmærksomhedsskabende artikel i det videnskabelige tidsskrift Proceedings of the Royal Society B , om de "spil akademikere spiller" og konsekvenserne for den akademiske fremtid. Et af problemerne med indeks er, at folk kan spille spil med dem for at forbedre deres resultater, ifølge den nye avis.

Grundlaget for oprøret er, at forskning er et stærkt konkurrencepræget erhverv, hvor evaluering spiller en central rolle. Når et team af forskere - forskere normalt ikke arbejder alene i disse dage - har gjort en ny opdagelse, de skriver en detaljeret akademisk artikel om metoden og resultaterne. Næste skridt er at sende artiklen til et videnskabeligt tidsskrift, som kan acceptere eller afvise papiret.

Tidsskriftets redaktører sender normalt artiklen til en lille gruppe uafhængige videnskabelige eksperter. Baseret på deres anmeldelser, redaktionen afgør, om avisen skal accepteres eller afvises. Anmelderne og redaktørerne kan også foreslå revisioner, før papiret accepteres.

Når den videnskabelige artikel endelig er offentliggjort, andre forskere inden for beslægtede områder kan begynde at citere papiret i deres egne værker. Et højt antal citater opfattes ofte som et mål for videnskabelig kvalitet.

Processen er ikke bare fin

Set udefra, denne proces virker fint. Men i løbet af de sidste 10 eller 15 år, processen er begyndt at trævle ud. Kvaliteten af ​​videnskab er blevet mindre vigtig, ifølge Chapman, Stenseth, og deres medforfattere. I stedet, den generelle opmærksomhed fokuserer for meget på et lille sæt indekser, der er nemme at måle:påvirkningsfaktorer og individuelle h-indekser, ud over antallet af citater.

Der er mange videnskabelige tidsskrifter derude, og en håndfuld af dem er så prestigefyldte, at deres navne er kendt af den brede offentlighed. Journalerne Natur , Videnskab , og The Lancet er blandt de mest kendte. Hvis en ung videnskabsmand inden for natur- eller lægevidenskaben kan publicere en artikel i et af disse tidsskrifter, hans eller hendes karriere kan få et kæmpe løft.

De mest prestigefyldte tidsskrifter har også høje impact factors, som er defineret som det gennemsnitlige antal citater pr. papir udgivet i løbet af de foregående to år. En individuel forskers h-indeks vurderer forskerens bedst citerede artikler og antallet af citater, de har modtaget.

"Scoringer for disse indeks har store konsekvenser. F.eks. i nogle lande og discipliner, publicering i tidsskrifter med indvirkningsfaktorer lavere end 5,0 anses officielt for at have ingen værdi, " ifølge Proceedings of the Royal Society papir. Forfatterne peger også på, at det ikke er ualmindeligt at høre, at de eneste artikler, der tæller, er dem i tidsskrifter med en impact factor, der er over en vilkårlig værdi. Eller værre, at publicering i lavere tidsskrifter svækker CV'er.

Selv en fejl kan skabe citater

Et generelt problem er, at indekserne kan manipuleres på måder, der gør dem næsten værdiløse som et mål for videnskabelig præstation eller kvalitet. Professor Stenseth var med i en bedømmelseskomité for Det Europæiske Forskningsråd for omkring 10 år siden, og han er stadig forbløffet over oplevelsen.

"Vi diskuterede brugen af ​​indekser og delte os hurtigt op i to grupper. Dengang du skulle lave en masse manuelt arbejde for at beregne antallet af citater. De af os, der ikke betragtede antallet af citater som meget vigtigt og læste de faktiske artikler i stedet, fortæller professor Stenseth.

Det blev et skelsættende øjeblik for Stenseth, fordi de citationsskeptiske forskere hurtigt opdagede, at nogle af de mest citerede artikler var kommentarer. En kommentar indeholder som regel ingen nye opdagelser, selvfølgelig.

"Men det værste var, at vi opdagede, at nogle papirer var meget citerede, fordi der var en fejl i dem! Mange papirer identificerede fejlen i papiret, men det var stadig opført som et citat! Det er en af ​​grundene til, at jeg insisterer på, at et stort antal citater ikke er et bevis på fremragende videnskabelig kvalitet, " tilføjer Stenseth.

Professor Chapman i Washington, taler med professor Stenseth i Oslo via Skype, bekræfter, at han har haft lignende oplevelser.

"Sådan fungerer systemet. Sådanne observationer kan virke næsten sjove, men de er også forfærdelige. Og trist, " kommenterer Chapman.

Indeks som surrogatmål

Forfatterne til det nye Proceedings of the Royal Society papir er ikke alene om deres kritik. San Francisco-erklæringen om forskningsvurdering (DORA) stammer fra et møde i American Society for Cell Biology i 2012, og anbefaler, at tidsskriftspåvirkningsfaktorer ikke bør bruges som et surrogatmål for en individuel forskningsartikel, at vurdere en individuel videnskabsmands bidrag, heller ikke ved ansættelse, forfremmelses- eller finansieringsbeslutninger. Nogle 15, 000 personer og 1, 550 organisationer verden over har underskrevet denne underskriftsindsamling, men forandring er endnu ikke kommet.

"Selvom der er en omfattende litteratur, der kritiserer disse indekser og deres brug, de bliver stadig meget brugt på vigtige og karrierebestemmende måder. Det her skal stoppe, " siger Colin Chapman.

Videnskab er altafgørende

Colin Chapman og Nils Chr. Stenseth understreger, at videnskab og videnskab er altafgørende i et moderne samfund.

"Det er derfor, vi gik ind i denne forretning; for at opdage nye ting. Men hvad sker der i stedet, er, at vi bliver ved med at blive knust af systemet. Systemet siger, at vi ikke skal bekymre os om at forbedre vores videnskab, vi bør i stedet bekymre os om at øge vores indeks. Det er ikke et incitament til at skabe fremragende videnskab, " insisterer Chapman.

Papiret indeholder en liste over de mulige spil, akademikere kan spille - og måske skal spille - for at forbedre deres indeks.

"Et af de mest almindelige spil er at skrive et papir med en lang liste af forfattere, som en slags tjeneste. Tanken er, at du kan være på mit papir, selvom du ikke har ydet et reelt bidrag, så måske kan jeg være på dit papir næste gang. Du klør mig på ryggen, og jeg ridser din, " forklarer Chapman.

Et andet spil er, at forskere kan blive enige om at citere hinanden:"Jeg kan citere dit papir, hvis du citerer mit." Udgivere har endda organiseret "citationskarteller", hvor forfattere anbefales at citere artikler fra andre tidsskrifter i kartellet.

"Jeg sendte et papir til et tidsskrift for anvendt økologi for nogle år siden. Papiret blev accepteret, og redaktøren fortalte os, at vi skulle citere fire eller fem artikler mere, alt fra den journal. Det øger selvfølgelig tidsskrifternes indvirkningsfaktor, fordi det øger citeringerne af artikler i det tidsskrift. Dette har været tilfældet for mange tidsskrifter og anses nu for at være en dårlig praksis, " forklarer Stenseth.

Colin Chapman og Nils Chr. Stenseth har fået en del støttende reaktioner på deres papir.

"En af mine kolleger skrev en blog, kritiserer os for at skrive noget, der kunne være nedslående for unge videnskabsmænd. Men hvad vi virkelig prøvede at gøre, var at gøre unge forskere opmærksomme på, at dette er et fejlbehæftet system, som bør udbedres, " Chapman kontra.

"Min opfattelse er, at indekser, og måden de bruges på, tage opmærksomheden væk fra videnskaben. På nogle små marker, som nødvendigvis vil have et meget lavt indeks, det er næsten umuligt at få meget høje citater, selvom forskningen er fremragende og vigtig, siger Stenseth.

"I stedet, opmærksomheden handler om, hvor dit papir blev udgivet, hvor mange citater det genererede, og tidsskriftets impact factor, " tilføjer han.

Forfatterne har også forslag til, hvordan vi kan forbedre systemet.

"Det korte svar er, at akademikere bør stoppe med at se på indekser og vende tilbage til at læse papirerne, " siger Chapman. Men akademikere kan ikke gøre det alene, hvis forskningsråd og andre finansieringsorganer fortsat anvender indeksene som grundlag for beslutninger om finansiering. En enkel måde at forbedre systemet på er, at forskningsråd ikke skal spørge forskere om antallet af citationer, når de afgiver et forskningsforslag.

"Vi vil gerne se ændringer i incitamentssystemerne, belønning af kvalitetsforskning og garanti for gennemsigtighed. Seniorfakultetet bør etablere de etiske standarder, mentorordninger og institutionelle evalueringskriterier for at skabe de nødvendige ændringer, " Chapman og Stenseth insisterer begge.

"Vi håber at sætte gang i en diskussion, der vil forme fremtiden for den akademiske verden og flytte den i en mere positiv retning. Forskere repræsenterer nogle af de mest kreative hjerner, der kan adressere samfundsmæssige behov. Det er nu tid til at skabe den fremtid, vi ønsker, " konkluderer de 14 forskere, der skrev papiret i Proceedings of the Royal Society .