At forudsige forskningsresultater kan betyde bedre videnskab og bedre rådgivning

Vi spørger hele tiden eksperter til råds. En virksomhed kan spørge en økonom til råds om, hvordan man motiverer sine medarbejdere. En regering kan spørge, hvad effekten af ​​en politisk reform vil være.

For at give råd, eksperter vil ofte gerne trække på resultaterne af et eksperiment. Men de har ikke altid relevante eksperimentelle beviser.

Indsamling af ekspertforudsigelser om forskningsresultater kan være et kraftfuldt nyt værktøj til at hjælpe med at forbedre videnskaben – og de råd, videnskabsmænd giver.

Bedre videnskab

I de sidste par årtier, akademisk stringens og gennemsigtighed, især inden for samfundsvidenskab, er blevet meget forbedret.

Endnu, som Australiens chefforsker Alan Finkel for nylig argumenterede, der er stadig meget at gøre for at minimere "dårlig videnskab".

Han anbefaler ændringer i måden, forskning måles og finansieres på. En anden stadig mere almindelig tilgang er at udføre randomiserede kontrollerede forsøg og præ-registerundersøgelser for at undgå bias, hvor resultaterne rapporteres.

Ekspertforudsigelser kan være endnu et værktøj til at gøre forskningen stærkere, som mine medforfattere Stefano DellaVigna, Devin Pope og jeg skændes i en ny artikel offentliggjort i Videnskab .

Hvorfor forudsigelser?

Den måde, vi fortolker forskningsresultater på, afhænger af, hvad vi allerede tror på. For eksempel, hvis vi så en undersøgelse, der hævdede at vise, at rygning var sundt, vi ville nok være ret skeptiske.

Hvis et resultat overrasker eksperter, det faktum i sig selv er informativt. Det kunne tyde på, at der måske er noget galt med undersøgelsens design.

Eller, hvis undersøgelsen var veltilrettelagt og resultatet gentaget, vi tror måske, at resultatet fundamentalt ændrede vores forståelse af, hvordan verden fungerer.

Men i øjeblikket indsamler forskere sjældent information, der giver dem mulighed for at sammenligne deres resultater med, hvad forskersamfundet troede på forhånd. Dette gør det svært at fortolke nyheden og vigtigheden af ​​et resultat.

Den akademiske udgivelsesproces er også plaget af partiskhed mod udgivelse af ubetydelige, eller "nul, " resultater.

Indsamlingen af ​​forhåndsprognoser for forskningsresultater kunne bekæmpe denne skævhed ved at gøre nulresultater mere interessante, da de kan indikere en afvigelse fra accepteret visdom.

Ændrer mening

Udover direkte at forbedre fortolkningen af ​​forskningsresultater, Indsamling af forhåndsprognoser kan hjælpe os med at forstå, hvordan folk ændrer mening.

For eksempel, min kollega Aidan Coville og jeg indsamlede forhåndsprognoser fra politikere for at studere, hvilken effekt akademiske forskningsresultater havde på deres overbevisninger. Vi fandt generelt, at de var mere modtagelige for "gode nyheder" end "dårlige nyheder" og ignorerede usikkerheder i resultaterne.

Prognoser kan også informere os om, hvilke potentielle undersøgelser der bedst kan forbedre politiske beslutninger.

For eksempel, antag, at et forskerhold skal vælge en af ​​ti interventioner at studere. For nogle af indgrebene, vi er ret sikre på, hvad en undersøgelse ville finde, og en ny undersøgelse ville næppe ændre vores mening. For andre, vi er mindre sikre, men det er usandsynligt, at de er det bedste indgreb.

Hvis forudsigelser var indsamlet på forhånd, de kunne fortælle os, hvilken intervention vi skal undersøge for at få den største politiske effekt.

Test af prognoser

I det lange løb, hvis ekspertprognoser kan påvises at være ret nøjagtige, de kunne give en vis støtte til politiske beslutninger, hvor strenge undersøgelser ikke kan udføres.

For eksempel, Stefano DellaVigna og Devin Pope indsamlede prognoser om, hvordan forskellige incitamenter ændrer mængden af ​​indsats, folk lægger i at udføre en opgave.

Som du kan se på grafen nedenfor, prognoserne var ikke perfekte (en prik på den stiplede diagonale linje ville repræsentere et perfekt match mellem prognose og resultat). Men der ser ud til at være en vis sammenhæng mellem de aggregerede prognoser og resultaterne.

Et centralt sted for prognoser

For at få mest muligt ud af prognoser for forskningsresultater, de bør indsamles systematisk.

Over tid, dette vil hjælpe os med at vurdere, hvor nøjagtige individuelle prognosemænd er, lære os, hvordan man bedst aggregerer prognoser, og fortæl os, hvilke typer resultater der har tendens til at være godt forudsagt.

Vi byggede en platform, som forskere kan bruge til at indsamle prognoser om deres eksperimenter fra forskere, politiske beslutningstagere, praktiserende læger, og andre vigtige målgrupper. Beta-hjemmesiden kan ses her.

Mens vi først fokuserer på vores egen disciplin – økonomi – mener vi, at et sådant værktøj bør være bredt anvendeligt. Vi vil opfordre forskere inden for ethvert akademisk felt til at overveje at indsamle forudsigelser om forskningsresultater.

Der er mange potentielle anvendelsesmuligheder for forudsigelser af forskningsresultater ud over dem, der er beskrevet her. Mange andre akademikere udforsker også dette område, såsom replikeringsmarkederne og replikatprojekter, der er en del af et stort forskningsinitiativ om replikering.

De mange mulige anvendelser af forskningsprognoser giver os tillid til, at en mere stringent og systematisk behandling af tidligere overbevisninger i høj grad kan forbedre fortolkningen af ​​forskningsresultater og i sidste ende forbedre den måde, vi laver videnskab på.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.