En infografik, der viser resultater af King et al. Kredit:Carla Schaffer / AAAS
Med en læserskare, der løber ind i millioner, få vil hævde, at New York Times ikke påvirker den offentlige debat om en lang række spørgsmål. Men hvad med et nyhedsmedie med et oplag på kun omkring 50, 000?
Svaret, siger Albert J. Weatherhead III University Professor Gary King, er, at selv små til mellemstore medier kan have en dramatisk effekt på indholdet og den partipolitiske balance i den nationale samtale om store offentlige politiske spørgsmål.
I det første randomiserede medieeksperiment i stor skala, der nogensinde blev udført, King og tidligere studerende Benjamin Schneer, nu assisterende professor ved Florida State University, og Ariel White, nu adjunkt ved MIT, fandt ud af, at hvis blot tre forretninger skriver om et bestemt stort nationalt politisk emne - såsom job, miljøet, eller immigration - diskussionen om det emne på tværs af sociale medier steg med mere end 62 procent, og meningsbalancen i den nationale samtale kunne påvirkes adskillige procentpoint baseret på den dækning.
"I flere hundrede år, forskere har forsøgt at måle mediernes indflydelse. De fleste mennesker tror, det er indflydelsesrigt, men at måle denne indflydelse strengt med randomiserede eksperimenter har indtil nu været umuligt, " sagde King. "Vores resultater tyder på, at effekten af medierne er overraskende stor. Vores undersøgelses implikationer tyder på, at enhver journalist har en stor magt og derfor har et vigtigt ansvar."
De fund, Kongen sagde, er resultatet af mere end fem års arbejde, hvoraf meget blev brugt på at overbevise 48 nyhedsmedier om at acceptere at deltage i undersøgelsen. Heldigvis, omkring halvdelen af disse forretninger var repræsenteret af mediekonsortiet, et netværk af uafhængige nyhedsmedier, ivrige efter at finde en måde at måle effekt og villige til at hjælpe.
"Meget af arbejdet op til denne undersøgelse involverede at finde en måde at bygge bro over den kulturelle kløft mellem journalistik og videnskab, King forklarede. "Gennem år med samtaler, meget forsøg og fejl, og et partnerskab med mediekonsortiets administrerende direktør Jo Ellen Green Kaiser, vi lærte at forstå journalistiske standarder og praksisser, og journalisterne lærte at forstå vores videnskabelige krav. Det, der i sidste ende fik det hele til at fungere, var et nyt forskningsdesign, vi udviklede, som tilfredsstillede begge lejre."
Selvom lignende bestræbelser er blevet forsøgt tidligere, de faldt uvægerligt sammen, mens journalister gnavede over tanken om at få at vide, hvad de skulle rapportere, og hvornår de skulle rapportere det.
For at løse problemet, tidligere forskere faldt tilbage på smarte tricks, såsom at studere områder, der falder uden for udsendelsesområdet for en bestemt stikkontakt, men, fordi ingen vidste, om områderne virkelig var tilfældige, de var svære at vurdere. Sådanne undersøgelser stod over for mange problemer, især deres manglende evne til at kontrollere en række faktorer som race, uddannelse, eller indkomst.
"Fra et videnskabeligt synspunkt, vi skal være i stand til at fortælle journalisterne, hvad de skal udgive, og helst på tilfældige tidspunkter, " sagde King. "Fra et journalistisk synspunkt, disse videnskabelige krav virker skøre, og journalister insisterer med rimelighed på at bevare den absolutte kontrol over, hvad de udgiver. De to sæt krav virker grundlæggende uforenelige, men vi fandt en måde at skabe et enkelt forskningsdesign, der opfyldte målene for begge grupper."
Det var ikke kun deltagelse af nyhedsmedier, der gjorde undersøgelsen bemærkelsesværdig, selvom.
"Hvis du laver noget som et medicinsk eksperiment, du kan tilfældigt tildele individuelle personer til en af to grupper, og så er hver person din analyseenhed, " sagde han. "Men når et medie udgiver noget - uanset hvor lille - det potentielle publikum, det kan påvirke, omfatter stort set alle i landet. Det betyder, at vores analyseenhed ikke kan være en person; det skal være hele landet, hvilket i høj grad øger omkostningerne ved undersøgelsen." Det betyder, at det, der svarer til et helt eksperiment i mange andre undersøgelser, kun udgør én observation i denne undersøgelse.
Fordi det var så dyrt at indsamle hver observation, og så logistisk udfordrende, King og kolleger brugte, og videreudviklet, nye statistiske teknikker for at sætte dem i stand til kun at indsamle så mange data, som det er nødvendigt. De kunne så undersøge, efter hvert massivt nationalt eksperiment, om de nu havde nok data til at drage pålidelige konklusioner.
"Det gav os mulighed for at fortsætte, indtil vi nåede til det punkt, hvor vi havde præcis så mange data, som vi havde brug for, og ikke mere, " sagde King. "Som det viser sig, vi kørte 35 nationale eksperimenter, der producerede 70 observationer."
For at opnå den eksperimentelle randomisering, der er nødvendig for undersøgelsen, Kongens hold, mediekonsortiets medarbejdere, og journalister på de 48 forretninger identificerede tilsammen 11 brede politikområder - som job, miljøet, eller immigration. De simulerede derefter journalisters tendens til at påvirke hinanden og udgive historier om lignende emner, nogle gange kendt som "pakkejournalistik, "ved at vælge tre eller fire forretninger fra deres deltagende gruppe på 48 for sammen at udvikle historier, der faldt inden for det samme brede politikområde.
"For eksempel, hvis politikområdet var job, en historie kan handle om Uber-chauffører i Philadelphia-området, " sagde King. "Vi ville derefter identificere en to-ugers periode, hvor vi forudsagde, at der ikke ville være nogen overraskelser relateret til det emneområde - så hvis præsidenten planlagde at holde en tale om immigration i en af de to uger, vi ville ikke køre et eksperiment om immigration i den periode."
Randomisering kom fra forskere, der vendte en mønt for at bestemme, hvilken af disse uger der ville være udgivelsesugen, og som kontrolugen.
"Først vores forretninger forstod ikke rigtig, hvad randomisering betød, " sagde Kaiser. "Vores projektleder Manolia Charlotin og forskerne arbejdede meget tæt sammen med alle forretningerne for at sikre, at de fulgte forskernes regler. Dette var et ressourcekrævende projekt for os, men den uventede fordel var, at forretninger fandt ud af, at de også fik mange kvalitative fordele ved at samarbejde."
I både behandlings- og kontroluger, Konge, Schneer, og White brugte værktøjer og data fra Harvard-baserede start-up Crimson Hexagon, at overvåge den nationale samtale i opslag på sociale medier. King er medstifter af Crimson Hexagon og, med en tidligere generation af nu tidligere Harvard-studerende, udviklet den automatiserede tekstteknologi, der oprindeligt var licenseret af Harvard til at skabe virksomheden. Han forklarede, at denne metode "bruges til at evaluere mening i opslag på sociale medier. Så hvis du har et sæt kategorier, du holder af, vi identificerer eksempler på indlæg i disse kategorier, hvad mennesker er gode til, " sagde King. "Så kan vores algoritme forstærke den menneskelige intelligens og, uden at klassificere individuelle indlæg, kan nøjagtigt estimere procentdelen af indlæg i hver kategori hver dag."
Hvad de fandt, Kongen sagde, er, at effekten var større end nogen havde forventet.
"Den faktiske effekt er virkelig stor, " sagde King. "Hvis tre forretninger (med et gennemsnitligt oplag på omkring 50, 000) tag dig sammen og skriv historier, størrelsen af den nationale samtale på det politikområde stiger meget - det er en stigning på 62 procent i forhold til den første dags mængde fordelt over ugen, bare fra disse tre små forretninger."
"Disse nationale samtaler om vigtige politikområder er afgørende for demokratiet, " tilføjede han. "I dag finder denne samtale sted, delvis, i nogle af de 750 millioner offentligt tilgængelige opslag på sociale medier skrevet af folk hver dag – og alle tilgængelige til forskning. På én gang, den nationale samtale var, hvad der end blev sagt på den offentlige plads, hvor folk ville stå op på en sæbekasse, eller når de udtrykte sig i avisredaktioner eller vandkølede debatter. Det er meget af det, demokrati handler om." King forklarede, "Det, at medierne har så stor indflydelse på indholdet af denne nationale samtale, er afgørende for alt fra den ideologiske balance i landets medier, at stige af falske nyheder, til professionelle journalisters løbende ansvar."