Tester l’ABM avec peu de comptes indépendants

La décision de prendre

Les programmes ABM peuvent générer de nombreuses touches tout en contenant peu de comptes attribués indépendamment. Le comptage des contacts ou des courriels envoyés sous forme d'échantillons indépendants surestime l'information lorsque le traitement est attribué à un compte ou à une famille. La valeur inégale des transactions et les longs délais de résultat ajoutent de l'incertitude. Une petite expérience peut encore éclairer une décision d'exploitation limitée, mais sa revendication doit correspondre à l'unité d'affectation, la cohérence de livraison et la précision attendue. La première question est de savoir si la population disponible peut distinguer un effet suffisamment important pour modifier la décision prévue.

Bâtir l'approche pratique

Choisissez une décision opérationnelle et un résultat principal avant le lancement. Identifier l'unité d'affectation indépendante en utilisant les familles de comptes lorsque le traitement ou l'approvisionnement est partagé. Définir les comptes admissibles avant l'attribution et consigner l'état des possibilités de base, le niveau et l'activité antérieure pertinente. Bloquer la randomisation sur quelques facteurs préexistants importants lorsque cela est possible, tout en conservant le dossier d'attribution. Préciser le traitement, le processus de comparaison ordinaire, les critères d'exposition, la fenêtre de suivi, les exclusions et la règle d'arrêt. Estimer la précision attendue à l'aide d'un niveau de référence défendable et l'effet le plus faible qui modifierait la décision; ne pas supposer une amélioration arbitrairement importante pour justifier une conception inadéquate. Si la population ne peut appuyer une conclusion utile en matière d'efficacité, il faut limiter la question à la faisabilité de l'exécution ou à un événement opérationnel plus proche. Préserver les comptes assignés dans l'analyse primaire, y compris les échecs de livraison. Consigner la contamination, les actions parallèles du vendeur et l'exposition manquée. Conservez le diagnostic des résultats secondaires et documentez-les à l'avance. Demandez à un analyste qualifié de choisir une méthode inférentielle qui convient à des événements peu nombreux, à une structure d'affectation et à des observations répétées ou groupées.

Le NIST met en garde contre le fait que les limites normales de confiance en approximation peuvent être insuffisamment précises lorsque la taille de l'échantillon ou le nombre d'échecs est faible. NIST: Exact binomial confidence limits.

Le flux de travail pratique

1. Choisir une décision principale
2. Utiliser des unités de compte indépendantes
3. Répartition et précision du plan
4. Suivi de la livraison et des déversements
5. Nombre de rapports et incertitude

Comparer les approches

Travail à travers un scénario illustratif

Scénario indicatif : une équipe teste une séance d'analyse de rentabilisation facilitée en fonction de son suivi habituel. Les comptes sont attribués à des segments de départ comparables, mais un vendeur stratégique livre une session similaire à un compte de comparaison, et un autre compte assigné ne reçoit jamais son invitation. L'équipe doit décider s'il faut enlever les deux cas pour obtenir un résultat plus propre. Il les conserve dans l'analyse basée sur l'affectation, enregistre la contamination et les défaillances de livraison et présente séparément les observations basées sur l'exposition. Une différence de résultat directionnel avec une grande incertitude n'établit pas un jeu gagnant universel. L'équipe utilise les résultats de la prestation pour décider si une autre cohorte améliorerait l'exécution et la précision avant d'élargir le programme.

Mesurer si le travail est utile

Déclarez les unités de compte indépendantes attribuées à chaque groupe, les unités exposées, le nombre de résultats, le nombre de suivi mature et les distributions de base. Définissez le taux de résultat binaire comme des unités qui rencontrent l'événement pré-précisé dans la fenêtre divisée par toutes les unités admissibles assignées dont le suivi est terminé, dans le cadre du traitement déclaré des résultats manquants. La différence absolue observée est le taux de traitement moins le taux de comparaison; l'accompagner d'un intervalle d'incertitude au moyen d'une méthode appropriée. Les unités de traitement qui respectent la règle de livraison sont divisées par les unités de traitement. La contamination est une unité de comparaison recevant une exposition équivalente au traitement divisée par une unité de comparaison. Rendre compte séparément des mesures de faisabilité, telles que l'effort de facilitation par séance et le taux de session accepté. En ce qui concerne les résultats en termes de montants, montrez les distributions de comptes individuels de sorte qu'une seule grande affaire ne disparaît pas à l'intérieur de la moyenne.

Le NIST traite les expériences de blocs randomisés comme des comparaisons randomisées effectuées à l'intérieur de blocs qui tiennent compte de certains facteurs de nuisance. NIST: Randomized block designs.

Éviter les points communs de défaillance

Une petite différence de pourcentage sans compte et sans incertitude ne peut soutenir un gagnant confiant. L'interprétation est modifiée par le fait que l'on a répété un examen non planifié, choisi le meilleur résultat après le lancement ou supprimé les comptes inappropriés. Aucune différence détectée ne peut refléter une précision insuffisante plutôt que l'équivalence. La randomisation ne résout pas l'exposition familiale partagée ni l'incohérence du traitement. Les intervalles exacts pour une proportion binaire ne fournissent pas automatiquement l'intervalle approprié pour un effet entre les groupes. La rétroaction qualitative du vendeur peut expliquer l'exécution, mais doit rester distincte de l'estimation du traitement. Évitez de prolonger le test jusqu'à ce que le résultat souhaité apparaisse.

Votre prochaine liste de contrôle

• Test de compte randomisé : Précision et exposition du plan. Vérifier la limitation: peut avoir une grande incertitude.
• Pilote d'observation assorti: Inférence limitée de l'État. Vérifier la limitation : il reste des différences de sélection.
• Pilote de faisabilité: Exécution et mesure des essais. Vérifier la limitation: ne pas établir l'efficacité.

Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.

Les questions auxquelles ce guide répond