Score-Kalibrierung: warum 80 nicht 80 % bedeutet

Nennen Sie, was die Punktzahl darstellt

Ein Account-Score kann Passform, Aktivität und Aktualität kombinieren, um eine Warteschlange zu bestellen. Das macht eine Punktzahl von 80 nicht zu einer 80% Chance auf ein Treffen. Eine Wahrscheinlichkeit erfordert ein definiertes Ereignis, eine Population und ein Beobachtungsfenster.

Beginnen Sie mit der Frage, ob der Score für das Ranking oder die Prognose gedacht ist. Ein Verkäufer mit einer Kapazität für zwanzig Accounts kann eine nützliche Bestellung benötigen. Eine Teamplanungskapazität erfordert möglicherweise eine zuverlässige Schätzung, wie viele qualifizierte Ergebnisse zu erwarten sind. Vermeiden Sie es, für beide Aufgaben die gleiche unmarkierte Nummer zu verwenden.

Was Kalibrierforschung gefunden hat

Guo und Kollegen untersuchten die Vertrauenskalibrierung in neuronalen Netzwerken unter Verwendung von Datensätzen zur Bild- und Dokumentklassifizierung. Ihre ICML 2017 Papier festgestellt, dass vorhergesagte Vertrauen von der tatsächlichen Korrektheit abweichen könnte, und bewertete Nachbearbeitungsansätze einschließlich Temperaturskalierung.

Die Forschung validiert kein bestimmtes ABM-Modell. Unsere Anwendung ist es, zu prüfen, ob das numerische Vertrauen eines Modells den beobachteten Kontoergebnissen entspricht. Ein Modell kann Accounts vernünftig einstufen und gleichzeitig die Wahrscheinlichkeit überschätzen, die seiner Top-Gruppe zugewiesen wurde.

Die ursprünglichen Methoden und Ergebnisse finden Sie in On Calibration of Modern Neural Networks.

Der praktische Workflow

1. Definieren Sie Score versus Wahrscheinlichkeit
2. Ergebnis und Fenster angeben
3. Freeze Features vor dem Ergebnis
4. Review Bands und Ranking
5. Spätere Kohorten überwachen

Vergleichen Sie die Ansätze

Definieren Sie die Ereignis- und Bewertungskohorte

Wählen Sie eine Veranstaltung aus, z. B. ein besuchtes qualifiziertes Meeting innerhalb eines angegebenen Fensters. Schreiben Sie Qualifikationskriterien und Ausschlüsse vor der Bewertung. Verwenden Sie eine spätere Kohorte für die Validierung, wobei der Kontozustand erhalten bleibt, der bei der Vorhersage bestanden hat.

Fügen Sie keine zukünftigen Verkäufernotizen oder Gelegenheitsphasen in die ursprünglichen Funktionen ein. Diese Felder können das Ergebnis in den Prädiktor sickern. Verfolgen Sie Accounts, deren Beobachtungsfenster unvollständig ist, separat, anstatt sie vorzeitig als fehlgeschlagene Conversions zu klassifizieren.

Untersuchen Sie ein illustratives Wahrscheinlichkeitsband

Angenommen, ein fiktives Modell weist dreißig Accounts eine durchschnittliche vorhergesagte Treffwahrscheinlichkeit von 0,8 zu. Wenn nur zwölf das definierte Ereignis nach dem vollen Fenster erreichen, ist die beobachtete Rate 0,4. Dieses Beispiel schlägt ein Kalibrierungsproblem in diesem Band vor, aber dreißig Accounts sind eine begrenzte Stichprobe.

Überprüfen Sie mehrere Bands und berichten Sie über ihre Größen. Überprüfen Sie, ob sich die Population verändert hat oder die Ergebnisdefinition inkonsequent angewendet wurde. Wenn die Punktzahl nie als Wahrscheinlichkeit konzipiert wurde, entfernen Sie die prozentuale Interpretation und bewerten Sie stattdessen das Ranking der tatsächlichen Kapazität des Teams.

Berichtsranking neben Zuverlässigkeit

Präzisions-Rückrufforschung hilft zu erklären, warum nützliche positive Vorhersagen wichtig sind, wenn Ergebnisse ungewöhnlich sind. Überprüfen Sie für den Verkauf, wie viele relevante Ergebnisse unter den Accounts erscheinen, die das Team tatsächlich arbeiten kann. Behalten Sie die Ereignisprävalenz mit diesem Bericht.

Kalibrierung, Rangfolge und Betriebswert sind unterschiedliche Dimensionen. Ein kalibriertes Modell kann einen geringen Priorisierungswert bieten, wenn jedes Account die gleiche Wahrscheinlichkeit erhält. Ein starkes Ranking muss möglicherweise noch neu kalibriert werden, bevor es die Kapazitätsprognosen informiert.

Die ursprünglichen Methoden und Ergebnisse finden Sie in The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets.

Verwenden Sie Scores als inspizierbare Routing-Eingaben

Zeigen Sie den Grund für die Priorität, die unterstützenden Signale und die ungelösten Fragen. Setzen Sie Schwellenwerte nach Kapazität und den Kosten für das Fehlen oder falsche Priorisieren eines Kontos. Record überschreibt mit Gründen, so dass sie untersucht werden können.

Überprüfen Sie die Kalibrierung in späteren Kohorten und nach wesentlichen Änderungen in Kanälen, Qualifikation oder Account-Mix. Route veraltete oder unvollständige Beweise für die Forschung, anstatt eine beeindruckende numerische Punktzahl zu verbergen.

Für den nächsten Teil dieser Entscheidung lesen Sie Einen Intent-Score mit nachvollziehbaren Prioritäten entwickeln.

Ihre Next-Action-Checkliste

• Rangliste: Bewerten Sie die verfügbare Kapazität. Überprüfen Sie die Einschränkung: impliziert keine Wahrscheinlichkeit.
• Kalibrierte Wahrscheinlichkeit: Vergleichen Sie Bands mit späteren Ergebnissen. Überprüfen Sie die Einschränkung: Abhängig von Ereignis und Bevölkerung.
• Schwellenwert: Dokumentieren Sie die Routingregel. Überprüfen Sie die Einschränkung: Kapazität und Kosten sind wichtig.
• Override: Notieren Sie den Grund und das Ergebnis. Überprüfen Sie die Einschränkung: kann die Auswahl einführen.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet