Kredit:CC0 Public Domain
Forskningseffekt måles på forskellige måder. Imidlertid, disse indikatorer er ofte baseret på tvivlsomme beregninger, siger Ludo Waltman.
Politikere forsøger på forskellige måder at evaluere, hvor godt forskere og forskningsinstitutioner klarer sig. Hvor ofte bliver en forsker citeret af kolleger på området? Hvor stor er hans eller hendes indflydelse, som målt i h-indekset? Og hvor godt klarer et universitet sig i forhold til andre institutioner i ind- og udland?
Imidlertid, disse indikatorer og placeringer er ofte baseret på tvivlsomme beregninger, siger Ludo Waltman i sin tiltrædelsesforelæsning. Denne professor i kvantitative videnskabsstudier hævder, at universitetsrangeringer kombinerer uforenelige indikatorer. "Disse placeringer måler dels størrelsen af universiteter og dels deres relative præstationer i forhold til deres størrelse. Disse perspektiver bliver så smidt i én bunke. Så er der ingen, der rigtig forstår, hvad placeringerne præcist fortæller os." Andre placeringer jonglerer også med tallene.
Ifølge Waltman, faren er, at forenklede indikatorer vil have en negativ effekt på forskningspolitikken, for eksempel hvis forskere eller forskningsinstitutioner vurderes ud fra disse indikatorer. Han mener, at der er behov for et højere niveau af kvantitativ læsefærdighed for at skabe forandring. En bedre forståelse af kvantitative analyser - såvel som af de konklusioner, der er nået ud af disse analyser - ville gøre en verden til forskel.
Waltman mener, at kvantitativ forskning lægger for stor vægt på statistisk signifikans, "Hvilket betyder, at forskningsresultater præsenteres i en unaturlig, binær måde, så vigtig eller ej." Desuden, i disse beregninger, korrelation forveksles ofte med kausalitet. Meget kunne vindes ved træning, der øger niveauet af kvantitativ læsefærdighed, siger Waltman. "Brugen af datadrevne metoder i den specifikke kontekst af politikudvikling ser ikke ud til at modtage den systematiske opmærksomhed, som den fortjener."
"Hvor som helst, muligt, forskningspolitikken bør gøre brug af resultaterne af kvantitativ videnskab, " siger Waltman i sin tiltrædelsesforelæsning. "Men det er urealistisk at tro, at vi kan give klare, kvantitative svar på de mange spørgsmål, der findes. Jeg synes, at vi skal gå væk fra tanken om, at vi kan besvare den slags komplekse spørgsmål med et simpelt ja eller nej."