Ækvivalenstesten:En ny måde for forskere at tackle såkaldte negative resultater på

En palæontolog vender tilbage til sit laboratorium fra en sommergravning og laver en undersøgelse, der sammenligner tandlængde hos to dinosaurarter. Hun og hendes team arbejder omhyggeligt for at undgå at påvirke deres resultater. De forbliver blinde for arten, mens de måler, prøvestørrelserne er store, og dataindsamlingen og analysen er streng.

Forskeren er overrasket over at finde ingen signifikant forskel i hundetandlængde mellem de to arter. Hun indser, at disse uventede resultater er vigtige og sender et papir til de relevante tidsskrifter. Men journal efter journal afviser papiret, da resultaterne ikke er væsentligt forskellige. Til sidst, videnskabsmanden giver op, og papiret med dets såkaldte negative resultater lægges i en skuffe og begraves under mange års andet arbejde.

Dette scenarie og mange andre lignende har spillet ud på tværs af alle videnskabelige discipliner, fører til det, der er blevet kaldt "filskuffeproblemet." Forskningstidsskrifter og finansieringsbureauer er ofte forudindtaget over for forskning, der viser "positive" eller væsentligt anderledes resultater. Denne uheldige skævhed bidrager til mange andre spørgsmål i den videnskabelige proces, såsom bekræftelsesbias, hvor data fortolkes forkert for at understøtte et ønsket resultat.

En ny metode:Ækvivalens

Desværre, spørgsmål om publikationsbias har været udbredt i videnskaben i lang tid. På grund af strukturen af ​​den videnskabelige metode, videnskabsmænd fokuserer ofte kun på forskelle mellem grupper - som dinosaurtænderne fra to forskellige arter, eller en folkesundhedssammenligning af to forskellige kvarterer. Dette efterlader undersøgelser, der fokuserer på ligheder, fuldstændig skjult.

Imidlertid, farmaceutiske forsøg har fundet en løsning på dette problem. I disse forsøg, forskere bruger nogle gange en test kendt som TOST, to ensidig test, at se efter ækvivalens mellem behandlinger.

For eksempel, sige, at en virksomhed udvikler et generisk lægemiddel, der er billigere at producere end lægemidlet med navnemærke. Forskere skal påvise, at det nye lægemiddel fungerer på en statistisk ækvivalent måde med navnemærket, før det sælges på markedet. Det er her ækvivalenstest kommer ind. Hvis testen viser ækvivalens mellem virkningerne af de to lægemidler, så kan FDA godkende det nye lægemiddels udgivelse på markedet.

Mens traditionel ækvivalenstest er meget nyttig til forudplanlagte og kontrollerede farmaceutiske tests, den er ikke alsidig nok til andre typer undersøgelser. Den originale TOST kan ikke bruges til at teste ækvivalens i eksperimenter, hvor de samme individer er i flere behandlingsgrupper, det virker heller ikke, hvis de to testgrupper har forskellige stikprøvestørrelser.

Derudover den TOST, der anvendes i farmaceutiske tests, adresserer typisk ikke flere variabler samtidigt. For eksempel, en traditionel TOST ville være i stand til at analysere ligheder i biodiversitet ved flere flodlokationer før og efter en temperaturændring. Imidlertid, vores nye TOST vil gøre det muligt at teste for ligheder i flere variabler – såsom biodiversitet, vand pH, vanddybde og vandklarhed – på alle flodstederne samtidigt.

Begrænsningerne ved den traditionelle TOST og udbredelsen af ​​"filskuffeproblemet" fik vores team til at udvikle en multivariat ækvivalenstest, i stand til at adressere ligheder i systemer med gentagne målinger og ulige stikprøvestørrelser.

Vores nye ækvivalenstest, udgivet i oktober, vender den traditionelle nulhypoteseramme på hovedet. Nu, snarere end at antage lighed, en forsker starter med den antagelse, at de to grupper er forskellige. Bevisbyrden ligger nu i at vurdere graden af ​​lighed, snarere end graden af ​​forskel.

Vores test giver også forskere mulighed for at indstille deres egen acceptable margen til at erklære lighed. For eksempel, hvis marginen blev sat til 0,2, så ville resultaterne fortælle dig, om gennemsnittet for de to grupper var ens inden for plus eller minus 2 procent.

Et skridt i den rigtige retning

Vores modifikation betyder, at ækvivalenstestning nu kan anvendes på tværs af en lang række discipliner. For eksempel, vi brugte denne test til at demonstrere tilsvarende akustisk struktur i sangene fra han- og hunkønsblåfugle. Ækvivalenstest er også allerede blevet brugt inden for nogle områder inden for teknik og psykologi.

Metoden kunne anvendes endnu bredere. Forestil dig en gruppe forskere, der vil undersøge to forskellige undervisningsmetoder. I et klasseværelse er der ingen teknologi, og i en anden udføres alle elevernes opgaver online. Ækvivalenstest kan hjælpe et skoledistrikt med at beslutte, om de skal investere mere i teknologi, eller om de to undervisningsmetoder er ækvivalente.

Udviklingen af ​​en bredt anvendelig ækvivalenstest repræsenterer, hvad vi tror vil være et stort skridt fremad i videnskabsmænds lange kamp for at præsentere reelle og objektive resultater. Denne test giver en anden mulighed for udforskning og giver forskere mulighed for at undersøge og offentliggøre resultaterne fra undersøgelser om ligheder, der ikke er blevet offentliggjort eller finansieret tidligere.

Udbredelsen af ​​publikationsbias, inklusive filskuffeproblemet, bekræftelsesbias og utilsigtede falske positiver, er en stor anstødssten for videnskabelige fremskridt. Inden for nogle forskningsområder, op til halvdelen af ​​resultaterne mangler i den publicerede litteratur.

Ækvivalenstest giver et andet værktøj i værktøjskassen for forskere til at præsentere "positive" resultater. Hvis det videnskabelige samfund tager fat i denne test og udnytter den til sit fulde potentiale, vi tror, ​​det kan være med til at afbøde en af ​​de største begrænsninger i den måde, videnskab praktiseres på i øjeblikket.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.