Seltene Conversions: die tatsächlich bearbeitbare Account-Liste bewerten

Die untersuchte Account-Gruppe festlegen

Wenn nur ein kleiner Bruchteil der berechtigten Accounts ein qualifiziertes Ergebnis erreicht, kann ein Modell, das keine Ergebnisse vorhersagt, genau aussehen. Dieses Modell ist für die Priorisierung nicht nützlich. Definieren Sie die Population und das Ereignis, bevor Sie eine Headline-Metrik auswählen.

Die Verkaufsentscheidung ist oft, welche Accounts mit begrenzter Kapazität arbeiten. Die Bewertung sollte daher die ausgewählte Warteschlange, die darin enthaltenen nützlichen Ergebnisse und die relevanten Accounts, die außerhalb der Warteschlange verbleiben, prüfen. Bewahren Sie die gleiche Population beim Vergleich von Modellen.

Was die Precision-Recall-Forschung erklärt

Saito und Rehmsmeiers 2015 PLOS ONE Paper erklärt, wie Präzisions-Rückruf-Plots die Zuverlässigkeit positiver Vorhersagen in einer unausgewogenen Klassifizierung leichter interpretieren können. In der Diskussion geht es eher um Bewertungsmethoden als um einen ABM-Einsatz.

Unsere Anwendung soll den Anteil ausgewählter Accounts, die das definierte Ereignis erreichen, und den Anteil aller beobachteten Ereignisse, die von dieser Auswahl erfasst werden, anzeigen. Präzision hängt von der Prävalenz ab, daher sollte ein Ergebnis aus einem Gebiet nicht unverändert in ein anderes mit einem anderen Kontomix übertragen werden.

Die ursprünglichen Methoden und Ergebnisse finden Sie in The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets.

Der praktische Workflow

1. Geeignete Accounts und Ergebnis definieren
2. Die Ereignishäufigkeit bestimmen
3. Bei tatsächlicher Vertriebskapazität bewerten
4. Falsch positive und verpasste Ergebnisse prüfen
5. An einer späteren Kohorte validieren

Vergleichen Sie die Ansätze

Arbeiten durch die Arithmetik

In einer beispielhaften Kohorte von 1.000 Accounts erreichen schließlich 20 das definierte Ergebnis. Eine Regel, die kein Ergebnis vorhersagt, hat 98 % Gesamtgenauigkeit und erfasst keines. Eine andere Regel wählt 50 Accounts aus, darunter 10 der 20 Ergebnisse. Ihre Precision beträgt 10 geteilt durch 50, also 20 %. Ihr Recall beträgt 10 geteilt durch 20, also 50 %.

Diese fiktiven Werte zeigen, warum Genauigkeit allein unzureichend ist. Sie stellen nicht die Qualität eines Outsell-Scores fest. Bericht ausgewählte Zählung, wahre Positive, falsche Positive und verpasste Positive, so dass ein Leser die Nenner inspizieren kann.

Schwellenwerte nach tatsächlicher Kapazität wählen

Wenn das Team in diesem Monat fünfzig Accounts bearbeiten kann, vergleichen Sie die Methoden bei fünfzig ausgewählten Accounts. Wenn die Forschungskapazität von der Verkäuferkapazität abweicht, verwenden Sie unterschiedliche Warteschlangen und Akzeptanzkriterien. Ein falsches Positiv kann eine kurze Forschungsaufgabe oder einen teuren Executive-Workshop verbrauchen; Diese Kosten sind unterschiedlich.

Optimieren Sie keinen Schwellenwert für dieselbe Kohorte, die verwendet wird, um ihren Erfolg zu melden. Gegebenenfalls ist ein separater Validierungszeitraum zu verwenden. Überprüfen Sie die Leistung nach sinnvollen Segmenten, ohne winzige Untergruppenansprüche zu erstellen, die nicht zuverlässig bewertet werden können.

Kalibrierung und Qualität der Account-Priorisierung trennen

Die Kalibrierforschung von Guo und Kollegen bietet eine verwandte Unterscheidung: Ein numerisches Vertrauen kann unzuverlässig sein, selbst wenn ein Modell zwischen Beispielen unterscheidet. Bewerten Sie für eine Kontowarteschlange sowohl die vorrangige Nützlichkeit als auch die Wahrscheinlichkeitsinterpretation, wenn Wahrscheinlichkeiten angezeigt werden.

Ein Verkäufer sollte sehen, warum ein Account ausgewählt wird und was validiert werden muss. Eine Conversion-Vorhersage begründet keine Absicht, identifiziert keinen benannten Käufer oder beweist, dass die Kontaktaufnahme mit dem Account zu einem Ergebnis führt. Halten Sie diese Schlussfolgerungen außerhalb der Punktzahl.

Die ursprünglichen Methoden und Ergebnisse finden Sie in On Calibration of Modern Neural Networks.

Für das Team relevante Fehler untersuchen

Überprüfen Sie verpasste Gelegenheiten, irrelevant ausgewählte Accounts und veraltete Funktionen. Fragen Sie, ob der Fehler von schlechten Labels, fehlenden Kontobeziehungen oder einer ungeeigneten Schwelle kam. Review-Verkäufer überschreiben sich mit dem gleichen Ergebnisfenster.

Verwenden Sie spätere Kohorten, um Veränderungen der Ereignisprävalenz und der Arbeitsbelastung zu verfolgen. Der nützliche Bericht ist eine kapazitätsbasierte Entscheidungshilfe mit expliziten Fehlern und nicht ein einziger Genauigkeitsprozentsatz, der das Verhalten der Warteschlange verschleiert.

Für den nächsten Teil dieser Entscheidung lesen Sie Score-Kalibrierung: warum 80 nicht 80 % bedeutet.

Ihre Next-Action-Checkliste

• Genauigkeit: Zeigen Sie eine Verwirrungsmatrix. Überprüfen Sie die Einschränkung: Kann seltene Ergebnisse verbergen.
• Präzision: Ausgewählte Anzahl und Population melden. Überprüfen Sie die Einschränkung: Änderungen mit der Prävalenz.
• Rückruf: Verwenden Sie die tatsächliche Kapazität. Überprüfen Sie die Einschränkung: Eine höhere Abdeckung kann die Arbeitsbelastung erhöhen.
• Kalibrierung: Vergleichen Sie vorhergesagte und beobachtete Bands. Überprüfen Sie die Einschränkung: anders als das Ranking.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet