Werbe-Kontrollgruppen und ABM: den Vergleich erhalten

Stellen Sie die kontrafaktische Frage

Ein Account, das eine Werbung sieht, kann bereits eher kaufen. Die Bereitstellung der Plattform kann von Aktivität, Geboten und vorhergesagten Reaktionen abhängen. Der Vergleich von exponierten Accounts mit allen nicht exponierten Accounts kann daher verschiedene Startbedingungen vergleichen.

Eine kausale Frage stellt sich, was mit vergleichbaren in Frage kommenden Accounts ohne die Intervention passieren würde. Definieren Sie die Intervention eng: eine Kampagne, eine hinzugefügte Sequenz oder ein koordiniertes Account-Plan. Notieren Sie andere Verkaufs- und Marketingarbeiten, die unter beiden Bedingungen fortgesetzt werden.

Was Ghost-Ad-Forschung dazu beiträgt

Johnson, Lewis und Nubbemeyer entwickelten Ghost Ads, um Kontrollgegenstücke von exponierten Nutzern in randomisierten Werbeexperimenten zu identifizieren. Ihr 2017 Journal of Marketing Research Papier erklärt, wie kontrafaktische Expositionsaufzeichnungen die Messung und die Wirtschaftlichkeit von Tests verbessern können.

Diese Methode basiert auf Plattform-Unterstützung. Ein gewöhnlicher CRM-Export kann keine versteckte Auktionszuteilung wiederherstellen. Unsere ABM-Anwendung ist das breitere experimentelle Prinzip: Bewahren Sie auf, wer berechtigt und zugewiesen wurde, bevor Sie Personen vergleichen, die eine Anzeige erhalten oder sich mit ihr beschäftigen.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness.

Der praktische Workflow

1. Angabe der Maßnahme
2. Freeze Berechtigung und Zuweisung
3. Spillover von Überwachungskonten
4. Anzahl definierter Ergebnisse
5. Unsicherheit und Lieferung melden

Vergleichen Sie die Ansätze

Definieren Sie das Account als experimentelle Einheit

Wenn mehrere Stakeholder zu einer Einkaufsgruppe gehören, kann die unabhängige Zuweisung ihrer Kontakte dazu führen, dass dasselbe Account beide Bedingungen erhält. Betrachten Sie die Zuweisung auf Kontoebene, wenn die Intervention mehrere Kontakte koordiniert. Notieren Sie Mutter- und Tochterbeziehungen, die Spillover verursachen könnten.

Legen Sie Ausschlüsse fest, bevor Sie die Ergebnisse beobachten. Bewahren Sie Zuordnung, Lieferung und Engagement als separate Felder auf. Analysieren Sie die zugewiesenen Gruppen wie geplant, während Sie Implementierungsfehler melden. Der Ausschluss jedes nicht engagierten Kontos nach der Kampagne kann die Frage ändern und eine Auswahlverzerrung einführen.

Arbeite durch einen fiktiven Holdout

Angenommen, 200 berechtigte Accounts werden zu gleichen Teilen dem gewöhnlichen Programm oder dem gewöhnlichen Programm sowie einem neuen Werbespiel zugewiesen. Während des Beobachtungsfensters erreichen 12 Accounts in der Added-Play-Gruppe und 9 in der Baseline-Gruppe das definierte Ergebnis. Das sind illustrative Zählungen, keine Beweise für eine zuverlässige Anhebung.

Melden Sie die Gruppengrößen, die Drei-Ergebnis-Differenz und Unsicherheit. Prüfen Sie, ob Verkäuferaktivität, Opportunitätslaufzeit und Account Spillover vergleichbar geblieben sind. Beanspruchen Sie den Erfolg nicht nur, weil die Punktschätzung positiv ist. Ein kleiner Test kann Lieferprobleme aufdecken, bevor er einen kommerziellen Effekt genau abschätzen kann.

Halten Sie die Reaktion und den Behandlungseffekt unterschiedlich

Behandlungseffekt-Methoden, einschließlich der von Künzel und Kollegen untersuchten Metallverdiener, befassen sich damit, wie die Wirkung einer Intervention mit dem Kontext variieren kann. Sie erfordern nach wie vor vertretbare Identifikationsannahmen und ausreichende Daten.

Ein Propensity-Score, der eine wahrscheinliche Conversion vorhersagt, beantwortet eine andere Frage. Sehr wahrscheinlich können Käufer mit oder ohne Werbung konvertieren. Beginnen Sie mit einem gültigen experimentellen Design, bevor Sie nach Subgruppeneffekten suchen. Sparse Unternehmensergebnisse können aufwendige Untergruppenansprüche besonders instabil machen.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Metalearners for estimating heterogeneous treatment effects using machine learning.

Wählen Sie ein realistisches Lernziel

Für ein Small-Account-Universum können operative Ergebnisse wie akzeptierte Übergaben früher gemessen werden als abgeschlossene Einnahmen. Geben Sie sowohl das kurzfristige Lernziel als auch das längere kommerzielle Beobachtungsfenster an. Vermeiden Sie es, das kommerzielle Ergebnis zu ersetzen, nachdem die Ergebnisse eintreffen.

Bewahren Sie das Protokoll, die Zuweisungsaufzeichnung und die Ausschlüsse mit dem Bericht auf. Wenn der Test keinen sinnvollen kommerziellen Effekt unterscheiden kann, sagen Sie dies und verwenden Sie seine operativen Ergebnisse, um die nächste Bewertung zu verbessern.

Für den nächsten Teil dieser Entscheidung lesen Sie ABM-Experimente mit wenigen unabhängigen Accounts durchführen.

Ihre Next-Action-Checkliste

• Zugeordnete Gruppen: Bewahren Sie die ursprüngliche Zuweisung. Überprüfen Sie die Einschränkung: Benötigt angemessene unabhängige Accounts.
• Exponierte Gruppen: Getrennt von der Kausalanalyse. Überprüfen Sie die Einschränkung: Die Exposition kann ausgewählt werden.
• Zuordnung: Kennzeichnung als Beitragsnachweis. Überprüfen Sie die Einschränkung: liefert keine kontrafaktische.
• Untergruppeneffekte: Definieren und validieren Sie die Analyse. Überprüfen Sie die Einschränkung: spärliche Daten können überpassen.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet