At tale om videnskabelige resultater uden at overdrive resultaterne

Nogle gange sker de mest produktive samtaler på videnskabelige konferencer uden for de formelle sessioner. Det var tilfældet for psykologiprofessor Maureen Callanan, som deltog i et møde for nogle år siden, hvor hun deltog i et panel om forskning i mangfoldighed i udviklingspsykologien.

Bagefter, hun og hendes kollega Susan Gelman, professor i psykologi og lingvistik ved University of Michigan, diskuterede forskeres tendens til at tage en simpel konstatering og angive den som en universel sandhed, generalisering uden for rammerne af en individuel undersøgelse.

"Det er forskellen på at sige, 'Hvad de 5-årige i denne undersøgelse gjorde...' og 'Hvad 5-årige gør, '" forklarede Callanan, en udviklingspsykolog. "At antyde, at alle børn opfører sig på en bestemt måde, ignorerer, at det meste forskning i udviklingspsykologi er baseret på undersøgelser af hvide, middelklassebørn."

Denne brug af "generisk sprog" giver indtryk af, at der ikke er nogen nuance, og det kan være vildledende, Callanan og Gelman var enige. Og de begyndte at undre sig over, hvor udbredt det er i litteraturen.

Spol frem til den 26. august, da Callanan og Gelman udgav en artikel, som de skrev sammen med Jasmine DeJesus og Graciela Solis i Proceedings of the National Academy of Sciences , "Generisk sprog i videnskabelig kommunikation." Deres analyse af næsten 1, 150 psykologiske tidsskriftsartikler publiceret i 2015-16 afslørede, at generisk sprog blev brugt i 89 procent af forskningsresuméerne. Brugen af ​​et sådant "universelt" sprog er særligt besværligt, da 73 procent af disse artikler ikke nævnte deres deltageres race eller etnicitet, en af ​​flere demografiske faktorer, der kunne begrænse relevansen af ​​resultater om en gruppe til en anden; tilsvarende, 79 % af artiklerne nævnte ikke indkomstniveauet i stikprøven, og 74 % bemærkede ikke sproglig baggrund.

"At bruge generisk sprog er især problematisk, hvis forskere overgeneraliserer fra selektive eller begrænsede prøver, " sagde Callanan. Forfatterne bemærkede, at psykologiområdet endda har et akronym, der anerkender den homogene karakter af typiske prøver:WEIRD, som står for deltagere fra Western, uddannet, industrialiseret, rig, og demokratiske samfund.

Forfatterne identificerer flere kræfter, der bidrager til brugen af ​​generaliseringer, herunder et ønske om at gøre værket tilgængeligt for et bredt publikum - og appellere til finansieringsbureauer. Imidlertid, at slumre over resultater og undlade at beskrive undersøgelsesprøver kan føre til overdrevne konklusioner, de advarer.

"Fordi forskere opfordres til at nå brede konklusioner, deres skrivning kan ofre præcision til fordel for dristigere påstande, " sagde DeJesus, assisterende professor ved University of North Carolina i Greensboro og artiklens første forfatter.

En opfølgende undersøgelse viste forskningsresuméer, der brugte generisk sprogpakke mere punch end mere nuancerede resuméer, i det mindste blandt studerende og andre deltagere i undersøgelsen, som konsekvent vurderede dem som "vigtigere".

"Udfordringen er at finde ud af, hvordan man rapporterer resultater på en måde, der er ærlig og også får arbejdet bemærket, " sagde Callanan, som spekulerede i, at dette fænomen også kan forekomme inden for andre områder end psykologi. "Jeg vil gerne se, at forskere gør et bedre stykke arbejde med at være tilgængelige og kortfattede, samtidig med at vi fuldt ud anerkender variabilitet og grænserne for vores beviser."

Som minimum Callanan opfordrede forskere til at afholde sig fra at foretage omfattende generaliseringer og overveje at henvise til deres deltageres adfærd i datid for at understrege, at resultaterne er begrænset til undersøgelsen og ikke nødvendigvis gælder for andre grupper eller en forudsigelse for fremtidig adfærd.

"En enkelt undersøgelse er virkelig ikke nok grundlag for en bred generalisering, " sagde hun. "Den type sprog kan være mere passende, når man gennemgår en hel litteratur og opsummerer på tværs af flere undersøgelser."

Selv med et repræsentativt udsnit, det er måske ikke hensigtsmæssigt at generalisere, bemærkede Callanan, som har kæmpet med disse problemer i sit eget arbejde. "Jeg er mindre fokuseret på resultater, der kan generaliseres, fordi der altid er nuancer, " sagde hun. "Der er altid forskelle, selv blandt hvide, middelklassebørn."

Callanan ser også bredere negative konsekvenser af at bruge generisk sprogbrug til at tale om videnskabelige resultater, der er baseret på prøver fra meget specifikke grupper - ofte middelklasse, hvide familier. "Det får folk til at tro, at det er normen, og hvis resultaterne blandt en anden gruppe er anderledes, det betragtes som et underskud, sagde hun. Det er faren.

Hellere, det er vigtigt at studere individuelle samfund på deres egne præmisser, ikke som afvigere eller undtagelser fra normen, hun sagde. At undgå generisk sprogbrug er en del af en bredere indsats for at være inkluderende, en indsats, der har præget Callanans arbejde gennem tre årtier. Hendes egen forskning fokuserer på, hvordan børn lærer om videnskab og verden omkring dem, og hun sætter pris på den enorme rækkevidde og variation, hun har observeret.

"Folk har forskellige måder at lære om den naturlige verden på, " sagde hun. "Jeg leder ikke længere efter den ene måde, børn lærer på. Jeg tror, ​​det bringer os på en falsk vej. Vi bør ikke kun lede efter generaliserbare resultater, men også efter variation, fordi der vil være begge dele, uanset hvilket emne vi studerer."