Conversions rares : évaluer la file de comptes réellement exploitable

Définissez la population de comptes étudiée

Si seulement une petite fraction des comptes admissibles atteint un résultat qualifié, un modèle qui ne prévoit aucun résultat peut sembler exact. Ce modèle n'est pas utile pour l'établissement des priorités. Définir la population et l'événement avant de choisir une métrique.

La décision de vente est souvent celle qui compte pour travailler avec une capacité limitée. L'évaluation devrait donc inspecter la file d'attente choisie, les résultats utiles qu'elle contient et les comptes pertinents laissés en dehors de celle-ci. Préserver la même population lors de la comparaison des modèles.

Ce qu’explique la recherche sur la précision et le rappel

Saito et Rehmsmeier...Le document PLOS ONE 2015 explique comment les tracés de précision-rappel peuvent faciliter l'interprétation des prédictions positives dans une classification déséquilibrée. La discussion porte sur les méthodes d'évaluation plutôt que sur le déploiement de GAB.

Notre application est de montrer la fraction de comptes sélectionnés atteignant l'événement défini et la fraction de tous les événements observés capturés par cette sélection. La précision dépend de la prévalence, de sorte qu'un résultat provenant d'un territoire ne devrait pas être transféré de façon inchangée à un autre, avec une combinaison de comptes différente.

Consultez les méthodes et les résultats originaux dans The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets.

Le flux de travail pratique

1. Définissez les comptes éligibles et le résultat
2. Mesurez la fréquence de l’événement
3. Évaluez à la capacité réelle de l’équipe commerciale
4. Examinez les faux positifs et les résultats manqués
5. Validez sur une cohorte ultérieure

Comparer les approches

Travail à travers l'arithmétique

Dans une cohorte illustrative de 1 000 comptes, supposons que 20 atteignent finalement le résultat défini. Une règle qui ne prédit aucun résultat affiche un taux d’exactitude de 98 %, mais ne détecte aucun de ces résultats. Une autre règle sélectionne 50 comptes, dont 10 des 20 résultats. Sa précision vaut 10 divisé par 50, soit 20 %. Son rappel vaut 10 divisé par 20, soit 50 %.

Ces valeurs fictives démontrent pourquoi la précision seule est insuffisante. Ils n'établissent pas la qualité d'un score Outsell. Signaler le nombre sélectionné, les vrais positifs, les faux positifs et les positifs manqués afin qu'un lecteur puisse inspecter les dénominateurs.

Choisissez les seuils selon la capacité réelle

Si l'équipe peut travailler cinquante comptes ce mois-ci, comparez les méthodes à cinquante comptes sélectionnés. Si la capacité de recherche diffère de la capacité du vendeur, utiliser des files d'attente et des critères d'acceptation différents. Un faux positif peut consommer une courte tâche de recherche ou un atelier de direction coûteux; ces coûts sont différents.

Ne pas optimiser un seuil sur la même cohorte utilisée pour signaler son succès. Utiliser une période de validation séparée lorsque cela est pratique. Vérifier les performances par segments significatifs sans créer de petites allégations de sous-groupes qui ne peuvent pas être évaluées de façon fiable.

Distinguez calibration et qualité de la priorisation

La recherche de calibrage de Guo et de collègues fournit une distinction connexe : une confiance numérique peut être peu fiable même lorsqu'un modèle se distingue entre des exemples. Dans le cas d'une file d'attente de comptes, évaluer l'utilité des priorités et l'interprétation des probabilités lorsque les probabilités sont indiquées.

Un vendeur devrait voir pourquoi un compte est sélectionné et ce qui doit être validé. Une prévision de conversion n'établit pas d'intention, n'identifie pas un acheteur nommé ou ne prouve pas que la communication avec le compte entraînera un résultat. Gardez ces conclusions en dehors du score.

Consultez les méthodes et les résultats originaux dans On Calibration of Modern Neural Networks.

Examinez les erreurs qui comptent pour l’équipe

Inspecter les occasions manquées, les comptes non pertinents et les fonctionnalités de l'impasse. Demandez si l'échec provient de mauvaises étiquettes, de relations de compte manquantes ou d'un seuil inapproprié. Le vendeur de l'examen remplace avec la même fenêtre de résultat.

Utiliser des cohortes ultérieures pour suivre les changements dans la prévalence des événements et la charge de travail. Le rapport utile est une aide à la décision fondée sur la capacité avec des erreurs explicites, plutôt qu'un seul pourcentage d'exactitude qui dissimule comment la file d'attente se comporte.

Pour approfondir la prochaine étape de cette décision, lisez Calibrer un score : pourquoi 80 ne signifie pas 80 %.

Votre prochaine liste de contrôle

• Précision: Montrez une matrice de confusion. Vérifiez la limitation : peut cacher l'échec rare.
• Précision : Indiquer le nombre et la population sélectionnés. Vérifier la limitation: changements avec la prévalence.
• Rappel : Utilisez la capacité réelle. Vérifiez la limitation : une couverture plus élevée peut augmenter la charge de travail.
• Étalonnage: Comparer les bandes prédites et observées. Vérifiez la limitation : différente du classement.

Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.

Les questions auxquelles ce guide répond