Statcheck:When Bots Correct Academics

Du kender den kollega, der altid vandrer hen til dit skrivebord og højlydt fortæller dig, at de fandt en fejl i den rapport, du afleverer? På den ene side, det er godt - ingen grund til at chefen skal se dig stadig blande "deres/der". På den anden side ... sikke en smerte.

I de sidste par måneder, forskere har følt de samme blandede følelser som statcheck, en ny applikation, der scanner psykologiske undersøgelser for fejl, er blevet afsløret. Og ligesom den "hjælpsomme" kollega, det er afsløringsformen, der har ramt et par nerver.

Lad os starte med, hvad statcheck præcist gør. Sam Schwarzkopf, en neurovidenskabsmand ved University College London, der skriver på science blog NeuroNeurotic, ligner det med en stavekontrol til statistik. "De fleste fejl, der er markeret af statcheck, er sandsynligvis ubetydelige, "forklarer han via e -mail." Så det er lidt smertefuldt at se fejlen, men det gør egentlig ikke meget skade. "En skrivefejl, for eksempel. Fantastisk at fange, men ikke frygtelig.

Imidlertid, når statcheck markerer fejl som "potentielt ændrer konklusionerne, "det er beslægtet med at finde en stavefejl, der" ville ændre meningen med sætningen, "Siger Schwarzkopf. Men det betyder ikke, at disse statistiske fejl helt sikkert ændrer resultater, enten.

"Jeg vil vædde med, at de fleste sådanne fejl sandsynligvis er stavefejl og faktisk ikke ændrer konklusionerne, "Schwarzkopf siger." I mange tilfælde kan du se på resultaterne, enten tallene eller graferne, at konklusionerne er korrekte, og den statistiske test er simpelthen forkert rapporteret. "

Selvfølgelig, der vil være tilfælde, hvor der er en faktisk fejl, hvilket ville betyde, at der var en fejl med en faktisk beregning, eller at tallene er svigagtige. På den ene eller anden måde, det ville indebære egentlig manual, gammeldags kontrol.

Så det lyder godt, ret? En måde for akademikere at kontrollere deres forskning inden indsendelse og hjælpe med at arbejde hen imod mere præcise resultater. Men den store udrulning af statcheck var lidt mere dramatisk:50, 000 artikler om PubPeer (en online platform, der gør det muligt for forskere at dele og diskutere offentliggjorte artikler) blev analyseret ved hjælp af statcheck, og blev dermed markeret med automatisk genererede rapporter - selvom rapporten bare sagde, at der ikke var fejl.

Ikke alle var begejstrede for at få deres arbejde analyseret og kommenteret uopfordret, især i et forum, hvor en kommentar til et papir generelt betyder, at der er fundet en fejl. Et flag, der bemærker, at papiret er blevet scannet af statcheck, kan føre til fejlfortolkning, med andre ord.

Og det er vigtigt at huske, at statcheck på ingen måde er et perfekt stykke kunstig intelligens. "Fordi statcheck er en automatiseret algoritme, det vil aldrig være så præcist som en manuel kontrol, "siger Michéle Nuijten via e -mail. Nuijten er ph.d. -studerende ved Tilburg University i Holland og var med til at oprette statcheck." På grund af de fejl statcheck laver, du skal altid manuelt kontrollere eventuelle uoverensstemmelser, som statskontrolleret er markeret, før du drager stærke konklusioner. "

Både Nuijten og Chris Hartgerink (forskeren, der scannede og rapporterede om PubPeer -papirerne), var klare på, at statcheck havde fejl og fejl. Statcheck -manualen indeholder også detaljerede lister over, hvad statcheck ikke kan gøre.

Hvilket vender tilbage til det, Schwarzkopf også påpeger:At finde fejl i statistikker er et godt head-up, men det fortæller ikke nødvendigvis historien om dataene. Papiret rapporterer, at en ud af otte papirer indeholdt en fejl, der kan har påvirket den statistiske konklusion, hvilket kan få os alle til at gå i panik over, at videnskaben er forkert, op er nede, og ingen er til at stole på. Men statcheck fortæller os ikke, hvor mange fejl rent faktisk påvirket konklusionerne af undersøgelserne. Det markerer bare potentielle grove inkonsekvenser.

Schwarzkopf advarer om, at vi ikke behøver at være i panik over, at alle disse fejl betyder falske konklusioner. "Det overvældende flertal, selv af disse ud af otte fejl, er sandsynligvis uden betydning, fordi de skyldes skrivefejl frem for faktiske fejlberegninger af resultaterne, "siger han." Det er helt sikkert godt at få øje på sådanne fejl, men de gør ikke fortolkningen af ​​fundene ugyldige. Den eneste måde at skelne mellem, om en fejl skyldes en stavefejl eller sand fejlberegning, er at se på selve dataene og gengive statistikken. "

Med andre ord, vi er nødt til at sikre, at forfattere og publikationer tjekker (og derefter tjekker igen) statistik før offentliggørelse og - afgørende - også replikerer resultater.

Og selvom nogle forskere ikke var begejstrede for at få deres arbejde analyseret eller markeret på PubPeer, det er rimeligt at sige, at forskere vil finde det en lettelse at bruge statcheck-teknologien til at dobbelttjekke deres eget arbejde, som de nu let kan gøre på http://statcheck.io.

Det er vigtigt at bemærke, at statcheck kun er designet til at fungere til psykologiske papirer. Nuijten og hendes kolleger arbejder i øjeblikket på finansiering til at udvide statcheck til andre områder, som biomedicinsk videnskab og økonomi.