Hvor målbar er online annoncering?

Forskere fra Northwestern University og Facebook offentliggjorde i marts ny forskning i tidsskriftet INFORMS Marketing Science der kaster lys over, hvorvidt almindelige tilgange til måling af onlineannoncering er lige så pålidelige og nøjagtige som "guldstandarden" i stor skala, randomiserede eksperimenter.

Undersøgelsen vil blive offentliggjort i marts-udgaven af ​​tidsskriftet INFORMS Marketing Science har titlen "A Comparison of Approaches to Advertising Measurement:Evidence from Big Field Experiments at Facebook, " og er forfattet af Brett Gordon fra Northwestern University; Florian Zetttelmeyer fra Northwestern University og National Bureau of Economic Research; og Neha Bhargava og Dan Chapsky fra Facebook.

"Vores resultater tyder på, at almindeligt anvendte observationstilgange, der er afhængige af data, der normalt er tilgængelige for annoncører, ofte ikke kan måle den sande effekt af annoncering, " sagde Brett Gordon.

Observationstilgange er dem, der omfatter en bred klasse af statistiske modeller, der er afhængige af dataene "som de er, " genereret uden eksplicit manipulation gennem et randomiseret eksperiment.

"Vi fandt en signifikant forskel i annonceeffektiviteten opnået fra randomiserede kontrolforsøg og de observationsmetoder, som ofte bruges af annoncører til at evaluere deres kampagner, " tilføjede Zettelmeyer. "Generelt, de nuværende og mere almindelige metoder overvurderer annonceeffektiviteten i forhold til, hvad vi fandt i vores randomiserede test. Selvom i nogle tilfælde, de undervurderer effektiviteten markant."

Måling af effektiviteten af ​​reklamer er fortsat et vigtigt problem for mange virksomheder. Et nøglespørgsmål er, om en annoncekampagne gav trinvise resultater:købte flere forbrugere, fordi de så en annonce, eller ville mange af disse forbrugere have købt selv uden annoncen? At opnå et nøjagtigt mål for trinvise resultater ("konverteringer") hjælper en annoncør med at beregne investeringsafkastet (ROI) af kampagnen.

"Digitale platforme, der bærer reklamer, såsom Facebook, har skabt omfattende metoder til at vurdere annonceeffektivitet, ved hjælp af detaljerede data, der forbinder annonceeksponeringer, klik, sidebesøg, onlinekøb og endda offlinekøb, sagde Gordon. Stadig, selv med disse data, måling af den kausale virkning af reklamer kræver den rette eksperimenteringsplatform."

Undersøgelsens forfattere brugte data fra 15 amerikanske reklameeksperimenter på Facebook omfattende 500 millioner brugereksperimentobservationer og 1,6 milliarder annoncevisninger.

Facebooks "konverteringsløft"-eksperimentplatform giver annoncører mulighed for at køre randomiserede kontrollerede eksperimenter for at måle årsagsvirkningen af ​​en annoncekampagne på forbrugernes resultater.

Disse eksperimenter allokerer brugere tilfældigt til en kontrolgruppe, som aldrig bliver eksponeret for annoncen, og til en testgruppe, der er berettiget til at se annoncen. Sammenligning af resultater mellem grupperne giver den kausale virkning af annoncen, fordi randomisering sikrer, at de to grupper er, gennemsnitlig, tilsvarende bortset fra annonceeksponeringer i testgruppen. De eksperimentelle resultater fra hver annoncekampagne fungerede som en baseline til at evaluere almindelige observationsmetoder.

Observationsmetoder sammenligner resultater mellem brugere, der blev eksponeret for annoncen, med brugere, der var ueksponerede. Disse to grupper af brugere har en tendens til at adskille sig systematisk på mange måder, såsom alder og køn. Disse forskelle i karakteristika kan være observerbare, fordi annoncøren (eller dens reklameplatform) ofte har adgang til data om disse egenskaber og andre, f.eks., ud over at kende køn og alder på en onlinebruger, det er muligt at observere den type enhed, der bruges, brugerens placering, hvor længe er det siden, brugeren sidst besøgte, osv. Dog den vanskelige del er, at de eksponerede og ueksponerede grupper også kan være forskellige på måder, der er meget svære at måle, såsom brugernes underliggende affinitet til brandet. At sige, at annoncen "forårsagede" en effekt, kræver, at forskningen kan redegøre for både observerede og uobserverede forskelle mellem de to grupper. Observationsmetoder bruger data om brugernes karakteristika, som observeres i forsøg på at justere for både de observerbare og ikke-observerbare forskelle.

"Vi satte os for at afgøre, om som almindeligt antaget, nuværende observationsmetoder, der anvender omfattende data på individuelt niveau, er 'gode nok' til annoncemåling, " sagde Zettelmeyer. "Det, vi fandt, var, at selv ret omfattende data viser sig at være utilstrækkelige til at give pålidelige skøn over reklameeffekter."

"I princippet, Vi mener, at brug af randomiserede kontrollerede forsøg i stor skala til at evaluere annonceringseffektivitet bør være den foretrukne metode for annoncører, når det er muligt."