Høj variabilitet er en konsekvens af komplekse dataarbejdsgange, undersøgelse finder

En ny Tel Aviv University-ledet undersøgelse offentliggjort den 20. maj i Natur tilbyder nye beviser for, at kompleksiteten af ​​moderne analytiske metoder i videnskab bidrager til variationen af ​​forskningsresultater.

Tidligere studier inden for psykologi, kræftbiologi og adfærdsøkonomi afslørede mange fejl i forsøget på at reproducere metoder og spejle resultater. TAU-forskerne brugte en tilgang kendt som "Mange analytikere, "hvor mange forskere analyserede det samme datasæt for at teste variabiliteten i analyseresultaterne, forklarer studielederforfatter Dr. Tom Schonberg fra Institut for Neurobiologi ved TAU's George S. Wise Fakultet for Biovidenskab og TAU's Sagol School of Neuroscience.

"Variabiliteten i resultater demonstreret i denne undersøgelse er en iboende del af den komplekse proces med at opnå videnskabelige resultater, og vi skal forstå det for at vide, hvordan vi skal tackle det, " tilføjer han. "Videnskaben udføres af mennesker, og der er ingen måde at undslippe variabilitet. Men vi må erkende dette for at kunne rette os selv og opnå de mest pålidelige svar."

Neuroimaging analyse, Replication and Prediction Study (NARPS) blev også ledet af Dr. Schonbergs tidligere ph.d. studerende Dr. Rotem Botvinik-Nezer, i dag en post-doc forsker ved Dartmouth College, sammen med medforskerne prof. Russel Poldrack fra Stanford University og prof. Thomas Nichols fra Oxford University.

Samlet set, 180 forskere fra 70 hold af videnskabsmænd rundt om i verden analyserede det samme hjernebilleddatasæt af 108 forsøgspersoner. Disse forsøgspersoner deltog i en opgave, der testede deres beslutningstagning vedrørende hasardspil på potentielle gevinster og tab. Hver gruppe valgte en særskilt analysemetode, og de forskellige metoder førte til forskellige konklusioner.

"Videnskaben bliver ofte kritiseret, " siger Dr. Schonberg. "Men det er ikke en tro som en religion, som nogle har hævdet. Den har regler og en metode – den videnskabelige metode. Vi forsøger konstant at forbedre denne metode i en proces med selvspørgsmål. Vi mener, at vores undersøgelse fører denne proces fremad."

Forskerholdene blev præsenteret for de samme data - fMRI-scanninger af forsøgspersoner, der udfører en værdibaseret beslutningsopgave - og fik besked på at teste de samme ni forskellige sæt hypoteser.

Det store neuroimaging-datasæt var blevet indsamlet i løbet af et år på Alfredo Federico Strauss Center for Computational Neuroimaging på TAU af Roni Iwanir, en tidligere Sagol School MSc-studerende fra Schonbergs laboratorium. Mens undersøgelsens deltagere engagerede sig i den monetære beslutningsopgave, fMRI-scanninger blev brugt til at teste, om aktiviteten i specifikke hjerneregioner, der er involveret i værdibehandling, ændrede sig i forhold til mængden af ​​penge, der blev vundet eller tabt på et spil. Omkring 70 internationale teams analyserede uafhængigt disse datasæt i løbet af tre måneder.

"Den behandling, du skal igennem fra rådata til et resultat med fMRI, er virkelig kompliceret, " tilføjer prof. Poldrack. "Der er mange valg, du skal træffe hvert sted i analysearbejdsgangen."

Hvert team af forskere nåede frem til deres egne endelige konklusioner vedrørende dataene, med resultater, der varierer betydeligt på tværs af holdene i fem ud af ni hypoteser.

"Vores nye undersøgelse demonstrerede høj analytisk fleksibilitet, som det sker i naturen, '" siger Dr. Schonberg. "De deltagende forskere modellerede hypoteserne forskelligt og brugte forskellig software til analysen. De brugte også forskellige teknikker og definitioner i forskellige aspekter af analysen."

En anden del af undersøgelsen involverede eksperter fra feltet såvel som forskere fra analyseholdene, der handlede med andre forskere i det, der kaldes "forudsigelsesmarkeder" om, hvad de troede ville være resultaterne af forskningen. Denne del af undersøgelsen blev drevet af økonomer og adfærdsøkonomiske eksperter, hvem gav den første idé til undersøgelsen, og afslørede markant overoptimisme med hensyn til evnen til at replikere tidligere fund, selv af forskere, der selv analyserede dataene.

"Mens de endelige rapporterede resultater varierede væsentligt, tidligere analyseresultater viste faktisk en konsensus blandt de fleste forskerhold, " siger Dr. Schonberg. "Dette er meget opmuntrende, og var faktisk et noget overraskende resultat. På trods af den store variation i de endelige rapporterede resultater, den underliggende analyse var ens, hvilket betyder, at vi er nødt til at finde metoder til at udtrykke denne konvergens.

"For eksempel, undersøgelsen tyder på, at forskere kunne udføre og rapportere flere analyser med de samme data, at finde de resultater, som forskellige pålidelige metoder konvergerer til."

Dr. Schonberg mener, at resultaterne kan hjælpe videnskabsmænd med at fremme deres metodologi og forbedre kvaliteten af ​​deres analyser i fremtiden.

"Jeg ville ønske, at vores resultater blev brugt til at bringe videnskaben fremad - mod en endnu yderligere deling af al undersøgelsesrelateret information, gennemsigtighed i metoder, analysekoder og data, " siger Dr. Schonberg. Det er den eneste måde, alle kan teste og "lege" med resultater for at se, hvad der holder. Vi har set vigtigheden og det store behov for at dele data i den seneste COVID-19-pandemi for at forstå det optimale forløb af handling.

"Naturligt, nyheden om opdagelser betyder meget for videnskabsmænd. Men lige så vigtigt er strengheden i vores metodologi, " konkluderer Dr. Schonberg. "Vores undersøgelse afspejler ambitionen hos et stort samfund af videnskabsmænd om at bruge tusindvis af timer på at forbedre vores metoder for at få konklusionerne rigtige og for at nå pålidelige resultater."