RAG pour la recherche de comptes : des briefs fondés sur des preuves vérifiables

Extraction séparée de l'écriture

La génération augmentée par récupération, ou RAG, combine un modèle de langue avec du matériel récupéré d'une collection externe. Dans un processus de compte, cette collecte pourrait inclure des notes CRM autorisées, des rapports annuels et la documentation approuvée du produit. L'étape de récupération trouve des preuves du candidat; l'étape de génération transforme les preuves sélectionnées en une réponse. Aucune des deux étapes n'établit que la réponse est vraie en soi.

Commencez par une question que le propriétaire du compte a besoin de répondre: quel changement d'exploitation documenté publiquement pourrait rendre une conversation d'intégration pertinente? Évitez de demander une biographie d'entreprise illimitée. Une question ciblée rend visible la preuve manquante et donne à l'examinateur une raison d'accepter ou de rejeter le résultat.

Ce que la recherche originale du RAG a trouvé

Lewis et ses collègues ont évalué des modèles d'acquisition de connaissances. Leurs travaux NeurIPS 2020 ont révélé une génération plus factuelle que la base de référence mesurée uniquement. Les données probantes concernent les tâches de référence en utilisant les connaissances récupérées, plutôt que la conversion de marketing ou une base de données commerciale spécifique.

Notre demande de GAB proposée est de rendre une brève inspection. Un passage récupéré doit répondre à la question réelle, se référer à la bonne entreprise et porter sa date de publication. Un passage concernant la société mère ne peut pas établir un changement à la filiale. Plus de texte récupéré ne peut pas réparer cette erreur d'identité.

Consultez les méthodes et les résultats originaux dans Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

Le flux de travail pratique

1. Définir la question du compte
2. Récupérer les passages autorisés
3. Vérifier l'identité et les dates
4. Projets de réclamations appuyées
5. Examiner les inconnues avant l'activation

Comparer les approches

Créer un contrat de preuve

Pour chaque document, stockez l'identificateur d'organisation, l'URL source, le titre, la date de publication, la date de capture, les permissions d'accès et le passage utilisé. Pour chaque affirmation, entreposez le passage qui le soutient et si c'est un fait signalé ou votre interprétation. Conservez les notes du client séparées par les permissions en vertu desquelles elles ont été recueillies.

Définir explicitement l'échec de récupération. Si la collection manque de preuves récentes, l'agent peut produire une question de recherche plutôt qu'un message. Si deux sources ne sont pas d'accord, indiquez les dates et la différence non résolue. La confiance en récupération est un signal de système de recherche; elle ne doit pas être présentée comme la probabilité qu'un compte ait l'intention d'acheter.

Consultez les méthodes et les résultats originaux dans PROV-Overview.

Travaillez à travers un récit fictif

Supposons qu'un fabricant fictif, Northbridge Components, annonce un nouveau centre de distribution. Le rapport soutient l'expansion, mais il ne dit rien sur un projet d'intégration. Un bref document utile enregistre l'expansion, identifie une question de coordination plausible et marque l'hypothèse du projet comme non confirmée.

Une ouverture défendable demande si le réseau élargi modifie la coordination des commandes et des données. Une ouverture indéfendable prétend que le directeur des opérations évalue déjà votre produit. Le premier utilise des preuves pour poser une question utile. Ce dernier transforme un événement d'entreprise en une intention personnelle inventée. Gardez le passage d'appui exact disponible pour les ventes.

Évaluer les deux étapes du pipeline

Construisez des questions de test avec des réponses connues, des réponses manquantes, des noms de société similaires et des dates contradictoires. Mesurer si la récupération renvoie le passage nécessaire avant d'évaluer le projet. Ensuite, examinez l'exactitude de l'identité, le support de la réclamation matérielle, les questions sans réponse et le temps total de correction.

Si le projet échoue parce que le bon passage n'est jamais arrivé, changer l'invite d'écriture s'adresse au mauvais composant. Si la récupération réussit, mais que le projet introduit des détails non étayés, ajuster l'étape de génération et d'acceptation. Conservez la version de la collection et la configuration du modèle avec chaque évaluation afin qu'une régression ultérieure puisse être tracée.

Consultez les méthodes et les résultats originaux dans Enabling Large Language Models to Generate Text with Citations.

Commencez par une petite collecte de preuves

Sélectionnez une cohorte de comptes, un petit ensemble de documents approuvés et une décision récurrente. Donner au propriétaire du compte un moyen de corriger les entités et de signaler les preuves. Exiger une source pour chaque revendication matérielle avant d'activer les messages. Élargir après la même rubrique d'acceptation fonctionne sur les comptes frais.

La sortie utile est un bref mémoire contenant l'événement vérifié, sa source, l'hypothèse commerciale, la question de valider et la prochaine action responsable. Les lecteurs qui ont besoin d'un examen plus approfondi peuvent ouvrir la source; les vendeurs qui ont besoin d'une conversation peuvent utiliser la question.

Pour approfondir la prochaine étape de cette décision, lisez Citations de l’IA en marketing : vérifier l’affirmation derrière le lien.

Votre prochaine liste de contrôle

• Documents publics : Entreposez la date et le passage exact. Vérifier la limitation: peut être inexistant ou incomplet.
• Remarques CRM : Appliquer les permissions d'enregistrement. Vérifier la limitation : l'accès peut être restreint.
• Mémoire obtenu : Examiner les réclamations importantes. Vérifiez la limitation : la génération peut ajouter des détails non pris en charge.
• Question non résolue : Posez une question de découverte limitée. Vérifier la limitation : ne peut justifier une réclamation d'achat.

Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.

Les questions auxquelles ce guide répond