At studere sociale medier kan give os indsigt i menneskelig adfærd – det kan også give os nonsens

Siden de tidlige dage af sociale medier, der har været spænding omkring, hvordan dataspor efterladt af brugere kan udnyttes til undersøgelse af menneskelig adfærd. I dag, forskere, der engang var begrænset til undersøgelser eller eksperimenter i laboratoriemiljøer, har adgang til enorme mængder af "virkelige" data fra sociale medier.

De forskningsmuligheder, der er muliggjort af data på sociale medier, er ubestridelige. Imidlertid, forskere analyserer ofte disse data med værktøjer, der ikke var designet til at håndtere den slags store, støjende observationssæt af data, du finder på sociale medier.

Vi undersøgte problemer, som forskere kunne støde på på grund af dette misforhold mellem data og metoder.

Det, vi fandt, er, at de metoder og statistikker, der almindeligvis bruges til at give beviser for tilsyneladende væsentlige videnskabelige resultater, også kan synes at understøtte meningsløse påstande.

Absurd videnskab

Motivationen for vores artikel kommer fra en række forskningsstudier, der bevidst præsenterer absurde videnskabelige resultater.

En hjernebilledundersøgelse så ud til at vise den neurale aktivitet af en død laks, der har til opgave at identificere følelser på billeder. En analyse af longitudinelle statistikker fra offentlige sundhedsjournaler antydede, at acne, højde, og hovedpine smitter. Og en analyse af menneskelig beslutningstagning, der tilsyneladende indikerede, kan bedømme befolkningsstørrelsen i forskellige byer nøjagtigt ved at rangere dem i alfabetisk rækkefølge.

Hvorfor ville en forsker gå ud af deres måde at udforske sådanne latterlige ideer? Værdien af ​​disse undersøgelser ligger ikke i at præsentere et nyt indholdsmæssigt fund. Ingen seriøs forsker ville argumentere, for eksempel, at en død laks har et perspektiv på følelser på billeder.

Hellere, de useriøse resultater fremhæver problemer med de metoder, der bruges til at opnå dem. Vores forskning undersøger, om de samme problemer kan ramme undersøgelser, der bruger data fra sociale medier. Og vi opdagede, at de faktisk gør det.

Positive og negative resultater

Når en forsker søger at besvare et forskningsspørgsmål, den metode, de bruger, bør kunne gøre to ting:

• afsløre en effekt, når der er en meningsfuld effekt
• viser ingen effekt, når der ikke er nogen meningsfuld effekt.

For eksempel, Forestil dig, at du har kroniske rygsmerter, og du tager en medicinsk test for at finde årsagen. Testen identificerer en fejljusteret disk i din rygsøjle. Denne konstatering kan være vigtig og informere en behandlingsplan.

Imidlertid, hvis du derefter opdager, at den samme test identificerer denne fejljusterede diskus hos en stor del af befolkningen, som ikke har kroniske rygsmerter, opdagelsen bliver langt mindre informativ for dig.

Det faktum, at testen ikke identificerer en relevant, skelnen mellem negative tilfælde (ingen rygsmerter) fra positive tilfælde (rygsmerter) betyder ikke, at den fejljusterede disk i din rygsøjle er ikke-eksisterende. Denne del af fundet er lige så "virkelig" som ethvert fund. Alligevel betyder fejlen, at resultatet ikke er brugbart:"bevis", der er lige så sandsynligt, at der findes, når der er en meningsfuld effekt (i dette tilfælde, rygsmerter), som når der ikke er nogen, er det simpelthen ikke diagnostisk, og, som resultat, sådanne beviser er uinformative.

XYZ-smitte

Med samme begrundelse, vi evaluerede almindeligt anvendte metoder til at analysere sociale mediedata - kaldet "nulhypotese signifikanstestning" og "korrelationel statistik" - ved at stille et absurd forskningsspørgsmål.

Tidligere og nuværende undersøgelser har forsøgt at identificere, hvilke faktorer der påvirker Twitter-brugeres beslutninger om at retweete andre tweets. Dette er interessant både som et vindue til menneskelig tankegang, og fordi videredeling af opslag er en nøglemekanisme, hvormed budskaber forstærkes eller spredes på sociale medier.

Så vi besluttede at analysere Twitter-data ved hjælp af ovenstående standardmetoder for at se, om en meningsløs effekt, vi kalder "XYZ-smitte", påvirker retweets. Specifikt, vi spurgte, "Er antallet af X'er, Ja, og Z'er i et tweet øger sandsynligheden for, at det bliver spredt?"

Efter at have analyseret seks datasæt indeholdende hundredtusindvis af tweets, "svaret" vi fandt var ja. For eksempel, i et datasæt på 172, 697 tweets om COVID-19, tilstedeværelsen af ​​et X, Y, eller Z i et tweet så ud til at øge meddelelsens rækkevidde med en faktor på 8 %.

Det er overflødigt at sige, vi tror ikke på tilstedeværelsen af ​​X'er, Ja, og Zs er en central faktor i, om folk vælger at retweete en besked på Twitter.

Imidlertid, som den medicinske test til diagnosticering af rygsmerter, vores fund viser, at nogle gange, metoder til dataanalyse på sociale medier kan "afsløre" effekter, hvor der ikke burde være nogen. Dette rejser spørgsmål om, hvor meningsfulde og informative resultater opnået ved at anvende nuværende samfundsvidenskabelige metoder til sociale mediedata virkelig er.

Mens forskere fortsætter med at analysere sociale mediedata og identificere faktorer, der former udviklingen af ​​den offentlige mening, kapre vores opmærksomhed, eller på anden måde forklare vores adfærd, vi bør tænke kritisk over de metoder, der ligger til grund for sådanne fund, og genoverveje, hvad vi kan lære af dem.

Hvad er et 'meningsfuldt' fund?

De spørgsmål, der rejses i vores papir, er ikke nye, og der er faktisk mange forskningspraksisser, der er blevet udviklet for at sikre, at resultaterne er meningsfulde og robuste.

For eksempel, forskere opfordres til at forhåndsregistrere deres hypoteser og analyseplaner, før de starter en undersøgelse for at forhindre en slags data-cherry-picking kaldet "p-hacking". En anden nyttig praksis er at kontrollere, om resultaterne er stabile efter fjernelse af outliers og kontrol for kovariater. Også vigtige er replikationsundersøgelser, som vurderer, om de opnåede resultater i et forsøg kan genfindes, når forsøget gentages under lignende forhold.

Denne praksis er vigtig, men de alene er ikke tilstrækkelige til at håndtere det problem, vi identificerer. Mens der er behov for udvikling af standardiseret forskningspraksis, forskningsmiljøet skal først tænke kritisk over, hvad der gør et fund i sociale mediers data meningsfuldt.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.