Undersøgelse af potentiel varians i akademisk forskning

Ny forskning søger at forstå, hvad der driver beslutninger i dataanalyser og den proces, hvorigennem akademikere tester en hypotese, ved at sammenligne analyserne fra forskellige forskere, der testede de samme hypoteser på det samme datasæt. Analytikere rapporterede radikalt forskellige analyser og spredte empiriske resultater, inklusive, i nogle tilfælde, betydelige virkninger i modsatte retninger fra hinanden. Beslutninger om variable operationaliseringer forklarede manglen på konsistens i resultater ud over statistiske valg (dvs. hvilken analyse eller kovariater der skal bruges).

"Vores resultater illustrerer vigtigheden af ​​analytiske valg, og hvordan forskellige statistiske metoder kan føre til forskellige konklusioner, " siger Martin Schweinsberg. "Et akademisk forskningsspørgsmål kan nogle gange undersøges på forskellige måder, selvom svarene er afledt af det samme datasæt og af analytikere uden nogen incitamenter til at finde et bestemt resultat, og denne forskning fremhæver dette."

For at udføre undersøgelsen, Professor Schweinsberg rekrutterede en skare af analytikere fra hele verden til at teste to hypoteser om virkningerne af videnskabsmænds køn og faglige status på aktiv deltagelse i gruppesamtaler. Ved at bruge det online akademiske forum Edge, forskere analyserede gruppediskussionsdata fra videnskabelige diskussioner fra mere end to årtier (1996-2014). Datasættet indeholdt mere end 3 millioner ord fra 728 bidragydere og 150 variabler relateret til samtalen, dets bidragydere, eller det tekstmæssige niveau af transskriptionen. Derefter, ved hjælp af den nye platform DataExplained, udviklet af medforfatterne Michael Feldman, Nicola Staub, og Abraham Bernstein, forskere analyserede dataene i R for at identificere, om der var en sammenhæng mellem en videnskabsmands køn eller professionelle status med deres omfang af detaljering.

Analytikere brugte forskellige sæt stikprøvestørrelser, statistiske tilgange, og kovariater, hvilket førte til flere forskellige resultater i forhold til hypoteserne. Det her, derfor, resulteret i forskellige, men alligevel forsvarlige resultater fra de forskellige analytikere. Ved at bruge DataExplained, Professor Schweinsberg og kolleger var i stand til at forstå præcist, hvordan disse analytiske valg adskilte sig, på trods af at data og hypoteser er de samme. En kvalitativ undersøgelse af den R-kode, analytikere brugte, afslørede en procesmodel for psykologien bag dataanalyser.

Professor Schweinsberg siger, at deres "undersøgelse illustrerer fordelene ved gennemsigtige og åbne videnskabelige praksisser. Subjektive analytiske valg er uundgåelige, og vi bør omfavne dem, fordi en samling af forskellige analytiske baggrunde og tilgange kan afsløre den sande konsistens af en empirisk påstand."

Denne forskning viser den kritiske rolle, subjektive forskerbeslutninger spiller for at påvirke rapporterede empiriske resultater. Ifølge forskerne, disse resultater understreger vigtigheden af ​​åbne data, som er offentligt tilgængelig, systematisk robusthedskontrol i akademisk forskning, og så meget gennemsigtighed som muligt med hensyn til både analytiske veje, der er taget og ikke taget, for at sikre, at forskningen er så nøjagtig som muligt. De foreslår også ydmyghed, når de formidler forskningsresultater, og forsigtighed med at anvende dem til organisatorisk beslutningstagning.