Groupes témoins publicitaires et ABM : préserver la comparaison

Poser la question contrefaite

Un compte qui voit une publicité peut déjà être plus susceptible d'acheter. La mise en oeuvre de la plate-forme peut dépendre de l'activité, de la soumission et de la réponse prévue. La comparaison des comptes exposés avec tous les comptes non exposés peut donc comparer différentes conditions de départ.

Une question causale pose la question de savoir ce qui arriverait à des comptes comparables éligibles sans l'intervention. Définir l'intervention de manière étroite : une campagne, une séquence ajoutée ou un plans d’action de compte coordonné. Consigner d'autres travaux de vente et de marketing qui se poursuivent dans les deux conditions.

Ce que contribue la recherche sur les fantômes

Johnson, Lewis et Nubbemeyer ont développé des publicités fantômes pour identifier des homologues témoins d'utilisateurs exposés dans des expériences publicitaires randomisées. Leur article de 2017 sur le Journal of Marketing Research explique comment les dossiers d'exposition contrefaits peuvent améliorer la mesure et l'économie des tests.

Cette méthode repose sur le support de la plateforme. Une exportation CRM ordinaire ne peut pas recréer l'attribution cachée des enchères. Notre application ABM est le principe expérimental plus large : préserver qui a été admissible et assigné avant de comparer les personnes qui ont reçu ou engagé une annonce.

Consultez les méthodes et les résultats originaux dans Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness.

Le flux de travail pratique

1. Préciser l'intervention
2. Gel de l ' admissibilité et de l ' affectation
3. Surveiller les retombées du compte
4. Compter les résultats définis
5. Signaler l'incertitude et la livraison

Comparer les approches

Définir le compte comme l'unité expérimentale

Si plusieurs parties prenantes appartiennent à un seul comité d’achat, l'attribution de leurs contacts indépendamment peut permettre au même compte de recevoir les deux conditions. Considérez l'affectation au niveau des comptes lorsque l'intervention coordonne plusieurs contacts. Enregistrer les relations parent-filiales qui pourraient créer des retombées.

Définir les exclusions avant d'observer les résultats. Conservez l'affectation, la livraison et l'engagement comme champs distincts. Analyser les groupes assignés comme prévu, tout en signalant les échecs de mise en oeuvre. L'exclusion de chaque compte non engagé après la campagne peut modifier la question et introduire un biais de sélection.

Travaillez dans un holdout fictif

Supposons que 200 comptes éligibles soient attribués à parts égales au programme ordinaire ou au programme ordinaire plus une nouvelle pièce publicitaire. Au cours de la fenêtre d'observation, 12 comptes dans le groupe de jeu supplémentaire et 9 dans le groupe de référence atteignent le résultat défini. Il s'agit de chiffres illustratifs, et non de preuves d'un soulèvement fiable.

Indiquer la taille du groupe, la différence de résultats et l'incertitude. Vérifier si l'activité du vendeur, l'échéance de l'opportunité et les retombées du compte sont restées comparables. Ne revendiquez pas le succès uniquement parce que l'estimation des points est positive. Un petit test peut révéler des problèmes de livraison avant de pouvoir estimer précisément un effet commercial.

Gardez la réponse et l'effet thérapeutique distincts

Les méthodes de traitement-effet, y compris les métallurgistes étudiés par Künzel et ses collègues, traitent de la façon dont un effet d'intervention peut varier en fonction du contexte. Elles exigent toujours des hypothèses défendables en matière d'identification et des données adéquates.

Un score de propension qui prédit une conversion probable répond à une autre question. Les acheteurs très probables peuvent convertir avec ou sans publicité. Commencez par une conception expérimentale valide avant de rechercher les effets sous-groupes. Les résultats de l'entreprise peuvent rendre les revendications élaborées de sous-groupes particulièrement instables.

Consultez les méthodes et les résultats originaux dans Metalearners for estimating heterogeneous treatment effects using machine learning.

Choisir un objectif d'apprentissage réaliste

Pour un petit univers de comptes, les résultats opérationnels tels que les retraits acceptés peuvent être mesurés plus tôt que les revenus fermés. Préciser à la fois l'objectif d'apprentissage à court terme et la fenêtre d'observation commerciale plus longue. Évitez de remplacer le résultat commercial après l'arrivée des résultats.

Conservez le protocole, le dossier d'affectation et les exclusions avec le rapport. Si le test ne permet pas de distinguer un effet commercial significatif, dites-le et utilisez ses conclusions opérationnelles pour améliorer la prochaine évaluation.

Pour approfondir la prochaine étape de cette décision, lisez Tester l’ABM avec peu de comptes indépendants.

Votre prochaine liste de contrôle

• Groupes désignés: Préserver l'affectation initiale. Vérifier la limitation: nécessite des comptes indépendants adéquats.
• Groupes exposés : Séparé de l'analyse causale. Vérifier la limitation : l'exposition peut être sélectionnée.
• Attribution Étiquette comme preuve de contribution. Vérifier la limitation: ne fournit pas de contrefactuel.
• Effets des sous-groupes: Prédéfinissez et validez l'analyse. Vérifier la limitation: les données rares peuvent être suradaptées.

Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.

Les questions auxquelles ce guide répond