Var disse eksperimentresultater virkelig så forudsigelige? Disse forskere sigter efter at finde ud af det

De siger, at bagklogskab er 20-20, og måske ingen steder er det mere sandt end i akademisk forskning.

"Vi har alle haft oplevelsen af ​​at stå frem for at præsentere et nyt sæt resultater, bygger ofte på mange års arbejde, og at have nogen i publikum udbryde 'Men vi vidste det allerede!, '" siger prof. Stefano DellaVigna, en adfærdsøkonom med fælles ansættelser i Institut for Økonomi og Berkeley Haas. "Men i de fleste af disse tilfælde, nogen ville have sagt det samme, hvis vi havde fundet det modsatte resultat. Vi er alle 20-20, bagefter."

DellaVigna har en kur mod denne type akademisk quarterbacking mandag morgen:en forudsigelsesplatform til at fange den konventionelle visdom, før undersøgelser køres.

Sammen med kollegerne Devin Pope fra University of Chicagos Booth School of Business og Eva Vivalt fra Research School of Economics ved Australian National University, han har lanceret et betawebsted, der vil tillade forskere, Ph.d. studerende, og endda medlemmer af den brede offentlighed til at gennemgå foreslåede forskningsprojekter og komme med forudsigelser om resultatet.

Deres forslag, fremlagt i en artikel i Videnskab s politikforum, er en del af en bølge af bestræbelser på at forbedre stringens og troværdigheden af ​​samfundsvidenskabelig forskning. Disse reformer blev udløst af replikationskrisen – den manglende gengivelse af resultaterne af mange offentliggjorte undersøgelser – og omfatter massebestræbelser på at replikere undersøgelser samt platforme til præregistrering af forskningsdesign og hypoteser.

"Vi troede, at der var noget vigtigt at vinde ved at have en registrering af, hvad folk troede, før resultaterne blev kendt, og samfundsforskere har aldrig gjort det på en systematisk måde, " siger DellaVigna, som medleder Berkeley Initiative for Behavioural Economics and Finance. "Dette vil ikke kun hjælpe os med bedre at identificere resultater, der virkelig er overraskende, men vil også hjælpe med at forbedre eksperimentelt design og nøjagtigheden af ​​prognoser."

Fordi videnskaben bygger på sig selv, folk fortolker nye resultater ud fra, hvad de allerede ved. En fordel ved forudsigelsesplatformen er, at den ville hjælpe bedre med at identificere virkelig overraskende resultater, selv i tilfælde, hvor der er et nulfund - som sjældent bliver offentliggjort, fordi de typisk ikke ses som væsentlige, forskerne argumenterer.

"Indsamlingen af ​​forhåndsprognoser for forskningsresultater kunne bekæmpe denne skævhed ved at gøre nulresultater mere interessante, da de kan indikere en afvigelse fra accepteret visdom, " skrev Vivalt i en artikel om forslaget i The Conversation.

En forskningsforudsigelsesplatform vil også hjælpe med at måle, hvor nøjagtige eksperter faktisk er på visse områder. For eksempel, DellaVigna og Pope indsamlede forudsigelser fra akademiske eksperter om 18 forskellige eksperimenter for at bestemme effektiviteten af ​​"nudges" kontra monetære incitamenter til at motivere arbejdere til at udføre en onlineopgave. De fandt, at eksperterne var ret præcise, men der var ingen forskel mellem højt citerede fakulteter og andre fakulteter, og at ph.d. eleverne klarede sig bedst.

At forstå, hvor der er en generel konsensus, kan også hjælpe forskere med at designe bedre forskningsspørgsmål, at komme til mindre velforståede fænomener, påpeger forfatterne. Indsamling af en kritisk masse af forudsigelser vil også åbne et nyt potentielt forskningsområde om, hvorvidt folk opdaterer deres overbevisninger, efter at nye resultater er kendt.

At lave en forudsigelse på platformen ville kræve en simpel 5-til-15-minutters undersøgelse, DellaVigna siger. Prognoserne vil blive distribueret til forskeren efter data er indsamlet, og undersøgelsesresultaterne ville blive sendt til prognosemagerne i slutningen af ​​undersøgelsen.

Berkeley Haas prof. Don Moore, som har været førende i at slå til lyd for mere gennemsigtighed, strenge forskningsmetoder og uddannelse af næste generation af forskere, siger forudsigelsesplatformen "kunne bringe kraftfulde og konstruktive ændringer til den måde, vi tænker om forskningsresultater på. En af dens store styrker er, at den udnytter mængdens visdom, potentielt at udnytte den kollektive viden om et felt for at hjælpe med at etablere en videnskabelig konsensus, som nye forskningsresultater kan bygge på."