Peer reviews og bibliometriske analyser bør ses som komplementære snarere end bestemmende

Ny forskning fra Queen Mary University of London tyder på, at når det kommer til store forskningsevalueringer såsom Research Excellence Framework (REF), Peer reviews ville være mere omkostningseffektivt, hvis målrettet mod publikationer, der ikke vises i fremragende tidsskrifter.

Forskningen afslører, at peer reviews og bibliometriske analyser skal ses som komplementære vurderingsformer. Forskerne foreslår, at målretning af peer reviews til publikationer, hvis kvalitet ikke entydigt kan klassificeres ved hjælp af bibliometrisk analyse, ville være mere effektivt til at vurdere forskningsstandarder på britiske universiteter og en bedre anvendelse af offentlige midler.

Evaluering af forskning

Forskerne brugte Storbritanniens REF-øvelse fra 2014 til at studere egenskaberne ved topscorende (firestjernede) publikationer i Economics and Econometrics. Selvom officielle dokumenter indeholder samlede score for hver institution, forskerne viser, hvordan disse aggregater kan bruges til at udlede den score, der tildeles af REF-panelmedlemmer til hver publikation.

Resultaterne viser, at denne score svarer til tidsskriftets prestige målt ved Thomson Reuters Article Influence Score. Selvom brugen af ​​denne særlige metrik er begrundet i dens attraktive egenskaber, og ved tidligere forskning, Forskellige mål for tidsskriftspåvirkning såsom effektfaktoren er også i brug blandt forskere.

Adskillige økonometriske analyser bekræfter det begrænsede bidrag fra andre publikationsattributter, såsom citater, til partituret tildelt af REF paneldeltagere, og at publikationer i topgeneralist- og top-fem Economics-tidsskrifter entydigt tildeles fire stjerner.

Implikationer for fremtidig evaluering

Resultaterne har vigtige implikationer for udformningen af ​​fremtidige forskningsevalueringer, andet end at informere diskussionen om 2021-runden af ​​REF, som er i gang. Brugen af ​​bibliometri i forskningsevaluering har været intenst diskuteret, og REF-regulering er afhængig af anmeldelser fra eksperter, der afspejler bekymringer for ansvarlig brug af metrikker.

Resultaterne viser, at i det mindste inden for økonomi og økonometri, et indeks over tidsskriftspåvirkning tilnærmer nøjagtigt eksperternes vurdering, især for output offentliggjort i fremragende tidsskrifter.

Dr. Marco Ovidi, fra Queen Mary's School of Economics and Finance, der var medforfatter til undersøgelsen, siger, at deres "forskning afslører, at i økonomi og økonometri, klassificeringen af ​​2014 REF-forskningsoutput foretaget af eksperter er meget tæt på den klassifikation, man ville opnå ved at bruge en bibliometrisk indikator for tidsskriftspåvirkning."

"Forskellene er særligt små for forskningsresultater, der er publiceret i tidsskrifter med stor gennemslagskraft i Economics. Vores resultater tyder på, at den dyre proces med peer reviews bør fokuseres på at finde skjulte ædelstene i tidsskrifter med relativt lavere omdømme frem for overvurderede output i topscorende forretninger. "

"Vi mener, at vores resultater bør være af interesse for akademiske afdelinger og forskningspolitiske beslutningstagere som de næste forskningsvurderinger, 2021 REF, er undervejs."