Peer review proces bedste metode til at bestemme videnskabelig finansiering, undersøgelse finder

Mens alle i disse dage har en mening om videnskab, der påvirker os alle, den klogeste tilgang indebærer stadig at rådføre sig med nøgleeksperter på området. Det gælder også finansiering af forskning, ifølge en ny artikel, der bekræfter, at peer review er den mest effektive metode til at hjælpe offentlige myndigheder med at forudsige, hvilke ideer der bedst kan fremme videnskabelige fremskridt.

"Peer review er endnu mere nødvendigt for biomedicin, fordi nogle af disse fund kan være et spørgsmål om liv og død, " sagde Donna Ginther, dekanens professor i økonomi ved University of Kansas.

Ginther er medforfatter til "Administrativt skøn i videnskabelig finansiering:beviser fra et prestigefyldt postdoktoralt uddannelsesprogram." Artiklen vises i det aktuelle nummer af Forskningspolitik .

"Du vil altid have et realitetstjek for dit arbejde, " hun sagde.

Hendes undersøgelse bruger data fra National Institutes of Health (NIH) til at bestemme, at peer review - sammenlignet med agenturets programansvarliges skøn - "nærmere forudsiger videnskab af høj kvalitet og fremtidig forskningsuafhængighed."

"Per-processen er meget kontroversiel. Mange mennesker efterlyser en ændring, " sagde Ginther, som skrev artiklen sammen med Misty Heggeness fra U.S. Census Bureau. "Men vi fandt ud af, at peer review-processen for videnskabelige bevillinger, det er det vi studerer, er streng, struktureret og veldefineret. Vi oplever, at processen fungerer ret godt."

De opdagede også, at "regressionsdiskontinuitetsdesign, "som er den metode, der typisk bruges til at undersøge effekten af ​​finansiering, gælder ikke altid for videnskabelige finansieringsmodeller.

Hun forklarede, hvordan hver bevilling, der bliver gennemgået, får en score. På NIH, lav score er bedre end høj score:Hvis du tjener en, du er finansieret, og hvis du får 20, du er ikke finansieret. Hvis peer review fungerer som annonceret, hvert forslag finansieres baseret på rækkefølgen af ​​denne score.

"Men så ved vi, at der er en pause, hvor du ikke har nogen penge tilbage, " sagde hun. "Hvis du sammenligner det sidste forslag, der blev finansieret med det første forslag, der ikke var, det er et regressionsdiskontinuitetsdesign. Du ser på dem lige over og under den linje og spørger, "Hvad er effekten af ​​de forslag af lignende kvalitet?"

"Da vi gravede i dataene, vi indså, "Åh, de gør det ikke, som de siger, de gør det." Og da de ikke bruger et regressionsdiskontinuitetsdesign, og de rækker ud efter forslag, der ikke scorede så godt, og springer over forslag, der skulle have været finansieret, hvis alt var finansieret i orden, du kan se på effektiviteten af ​​selve peer review."

Selvom denne særlige forskning involverer videnskabens område, det rejser spørgsmålet om, hvorvidt det kan anvendes på andre områder. For eksempel, er peer review afgørende for humaniora?

"Akademien er meget baseret på peer review, " sagde Ginther. "Jeg kan ikke nødvendigvis tale med humaniora, fordi de er mere bogfokuserede. Men det er altid en fordel at have et nyt sæt øjne på arbejdet for at sikre, at det har potentialet til at yde et bidrag. Og jeg tror, ​​når du taler om store pengesummer som NIH giver ud, det er virkelig vigtigt."

Nu hvor verden søger efter måder at håndtere COVID-19 så hurtigt som muligt, Ginther sagde, at videnskabelig peer review kunne ændres fundamentalt. Det kan begynde at afspejle, hvordan andre felter griber processen an.

"Økonomi er meget åben, " sagde hun. "Erhvervet deler arbejdspapirer. Resultaterne af denne undersøgelse har cirkuleret i et par år. Imidlertid, livsvidenskab, indtil coronavirus, holdt alt skjult, før det blev offentliggjort. Og det, vi ser lige nu, er, at forskningsresultater bliver offentliggjort, før de er blevet peer-reviewed. I betragtning af størrelsen af ​​denne krise, at gøre fortryk tilgængelige for undersøgelser af coronavirus er yderst vigtigt."

En 17-årig veteran fra KU, Ginther er specialiseret i arbejdsøkonomi. Hun er også direktør for Institut for Politik og Socialforskning, et tværfagligt campuscenter for fakulteter og studerende, der udfører finansieret arbejde inden for samfunds- og adfærdsvidenskab.

"Det er min igangværende forskning at se, hvordan det at følge pengene påvirker videnskaberne, " hun sagde.

Ginther håber, at "Administrativt skøn i videnskabelig finansiering" kan hjælpe med at afgøre enhver strid om nødvendigheden og relevansen af ​​peer review.

"Der er en masse debat om dette spørgsmål i det videnskabspolitiske samfund, " sagde hun. "Men nu er de videnskabspolitiske folk ikke opmærksomme, fordi de er i et laboratorium og forsøger at redde verden."