Anmeldere af NIH-bevillinger kan ikke skelne det gode fra det store:undersøgelse

National Institutes of Health (NIH) investerede mere end $27 milliarder i biomedicinsk forskning gennem konkurrencedygtige tilskud i løbet af regnskabsåret 2017. Disse tilskud blev tildelt baseret på score tildelt af, og samtale mellem, fagfællebedømmere.

Denne peer review-proces er designet til at bestemme de bedste forslag, der skal finansieres, og er en grundsten i at uddele dollars til videnskabelige projekter med omhyggelig overvejelse.

Men nye resultater fra University of Wisconsin-Madison forskere tyder på, at anmeldere ikke er i stand til at skelne de store forslag fra de blot gode. I en detaljeret simulering af peer review-processen - registreringerne af reelle anmeldelser er ikke tilgængelige for undersøgelse - opdagede forskere ved UW-Madisons Center for Women's Health Research og deres samarbejdspartnere, at der ikke var enighed mellem forskellige anmeldere, der scorede de samme forslag.

Resultatet er, at efter at have elimineret svagere forslag, forskelle i, hvordan anmeldere scorede forslag, gjorde det umuligt at skelne mellem de resterende. Undersøgelsen blev delvist finansieret af NIH for at analysere og forbedre, hvordan milliarder af dollars tildeles af agenturet.

Resultaterne offentliggøres 5. marts i Proceedings of the National Academy of Sciences . Postdoc Elizabeth Pier ledede analyserne af data indsamlet af en tværfaglig gruppe, herunder Molly Carnes, direktør for Center for Kvindesundhedsforskning, Cecilia Ford, emeritus professor i engelsk og sociologi, kolleger i psykologi og pædagogisk psykologi ved UW-Madison, og samarbejdspartnere ved West Chester University i Pennsylvania.

"Hvordan kan vi forbedre måden, hvorpå bevillinger gennemgås, så der er mindre subjektivitet i den endelige finansiering af videnskab?" er spørgsmålet i hjertet af dette arbejde, siger Carnes. "Vi har brug for mere forskning på dette område, og NIH investerer penge i at undersøge denne proces."

Peer review starter med, at eksperter separat analyserer og scorer en række forslag. Grupper af eksperter mødes derefter for at diskutere forslagene og i fællesskab beslutte, hvilke der fortjener støtte. For at studere denne proces, forskerne samlede erfarne NIH peer reviewere og fik dem til at gennemgå rigtige forslag, som var blevet finansieret af NIH. Et parti havde modtaget finansiering med det samme - de fremragende forslag. Det andet parti modtog til sidst finansiering efter at være blevet revideret og blev betragtet som "gode" forslag.

Tidligere offentliggjorte undersøgelser af samme gruppe afslørede, at de samtaler, der finder sted efter indledende scoringer, ikke fører til bedre finansieringsbeslutninger, fordi de forstærker uenigheder mellem forskellige grupper af anmeldere.

"Samarbejde kan faktisk gøre aftalen værre, ikke bedre, så et spørgsmål, der følger af det, ville være:'Ville det være bedre for anmelderne ikke at mødes?'" siger Pier, som modtog sin doktorgrad i pædagogisk psykologi ved UW-Madison, mens hun fuldførte arbejdet.

For at besvare dette spørgsmål i den nye undersøgelse, forskerne fokuserede på anmeldernes indledende kritik og identificerede antallet og typen af ​​svagheder og styrker tildelt hvert forslag, sammen med den givne score.

"Når vi ser på de styrker og svagheder, de tildeler ansøgerne, det, vi fandt, er, at anmelderne er internt meget konsekvente, " siger Pier. "Det, der overraskede os, var, at selvom folk er internt konsekvente, der er virkelig ingen sammenhæng i, hvordan forskellige mennesker oversætter antallet af svagheder til en score."

Gennemsnitlig, forskere scorede de samme forslag så forskelligt, at det var, som om de så på helt forskellige forslag. Denne voldsomme uenighed, og de polariserende virkninger af gruppesamtale, som tidligere forskning demonstrerede, foreslog forskerne, at den nuværende peer review-proces ikke er designet til at skelne mellem gode og gode forslag.

"Vi forsøger ikke at antyde, at peer review er fejlbehæftet, men at der måske er plads til at være innovativ for at forbedre processen, siger Pier.

En potentiel forbedring foreslået af forskerholdet er at skabe et modificeret lotteri. I dette system, en indledende gennemgang ville luge svagere forslag ud, og de resterende vil blive finansieret tilfældigt. NIH undersøger også i øjeblikket måder at forbedre objektiviteten og succesen med peer review.

Forskerne understreger, at med milliarder af dollars på spil, der er behov for yderligere forskning i dette vigtige finansieringssystem og eventuelle forbedringer af processen.

"Det gør mig stolt at være videnskabsmand, at vi ikke kun finansierer forskning fra celler til samfundet, men at vi hele tiden forsøger at forbedre processen, hvorved vi tildeler disse dollars, " siger Carnes.