Fornyelse af peer-review-forskningsprocessen

Et team af videnskabsmænd ledet af en astronom fra Michigan State University har fundet ud af, at en ny proces til at evaluere foreslåede videnskabelige forskningsprojekter er lige så effektiv - hvis ikke mere - end den traditionelle peer-review-metode.

Normalt, når en forsker indsender et forslag, Finansieringsbureauet beder derefter en række forskere inden for det pågældende område om at evaluere og komme med finansieringsanbefalinger. Et system, der nogle gange kan være lidt omfangsrigt og langsomt - ikke helt en eksakt videnskab.

"Som i alle menneskelige bestræbelser, denne har sine mangler, sagde Wolfgang Kerzendorf, en adjunkt i MSU's afdelinger for Fysik og Astronomi, og beregningsmatematik, Videnskab og teknik.

Detaljeret i publikationen Natur astronomi , Kerzendorf og kolleger testede et nyt system, der fordeler arbejdsbyrden med at gennemgå projektforslag blandt forslagsstillerne, kendt som "distribueret peer review"-tilgang.

Imidlertid, holdet forbedrede det ved at bruge to andre nye funktioner:Brug af maskinlæring til at matche anmeldere med forslag og inklusion af en feedbackmekanisme på anmeldelsen.

I det væsentlige, denne proces består af tre forskellige funktioner designet til at forbedre peer-review-processen.

Først, når en videnskabsmand indsender et forslag til evaluering, han eller hun bliver først bedt om at gennemgå flere af deres konkurrenters papirer, en måde at mindske mængden af ​​papirer, man bliver bedt om at gennemgå.

"Hvis du sænker antallet af anmeldelser, som hver person skal lave, de bruger måske lidt mere tid på hvert af forslagene, " sagde Kerzendorf.

Sekund, ved at bruge computere – maskinlæring – kan finansieringsbureauer matche anmelderen med forslag til områder, hvor de er eksperter. Denne proces kan tage menneskelig bias ud af ligningen, resulterer i en mere præcis gennemgang.

"Vi ser i det væsentlige på de papirer, som potentielle læsere har skrevet, og giver derefter disse mennesker forslag, som de sandsynligvis er gode til at bedømme, " sagde Kerzendorf. "I stedet for at en anmelder selv rapporterer deres ekspertise, computeren gør arbejdet."

Og for det tredje, holdet indførte et feedbacksystem, hvor den person, der har indsendt forslaget, kan vurdere, om den feedback, de modtog, var nyttig. Ultimativt, dette kan hjælpe samfundet med at belønne videnskabsmænd, der konsekvent giver konstruktiv kritik.

"Denne del af processen er ikke uvigtig, " sagde Kerzendorf. "En god, konstruktiv anmeldelse er lidt af en bonus, en belønning for det arbejde, du har lagt i at gennemgå andre forslag."

For at udføre eksperimentet, Kerzendorf og hans team behandlede 172 indsendte forslag, som hver anmodede om at bruge teleskoperne på European Southern Observatory, et jordbaseret observatorium med 16 nationer i Tyskland.

Forslagene blev gennemgået både på traditionel vis og ved hjælp af distribueret peer review. Resultaterne? Fra et statistisk synspunkt, det var tilsyneladende ikke til at skelne

Imidlertid, Kerzendorf sagde, at dette var et nyt eksperiment, der testede en ny tilgang til evaluering af peer-review-forskning, en, der kunne gøre en forskel i den videnskabelige verden.

"Mens vi tænker meget kritisk om videnskab, nogle gange tager vi os ikke tid til at tænke kritisk over at forbedre processen med at allokere ressourcer i videnskaben, " sagde han. "Dette er et forsøg på at gøre dette."