Contexte long : vérifier ce que le modèle utilise réellement

Distinguer la capacité des preuves utilisables

Une fenêtre contextuelle décrit la quantité d'entrée qu'un modèle peut recevoir. Il ne vous indique pas si le modèle utilisera chaque détail avec précision. Un paquet de compte peut contenir des rapports annuels, des notes de vendeur, des occasions anciennes et des contraintes actuelles de produit. L'approvisionnement peut rendre plus difficile l'inspection des raisons pour lesquelles une conclusion particulière a été tirée.

Commencez par la décision, les preuves requises et les règles d'exclusion. Un exposé sur une filiale devrait indiquer l'entité avant de présenter des documents sur la société mère. Un compte avec une instruction de ne pas-contact courant devrait porter cette contrainte clairement dans l'étape d'action.

Ce que l'étude de long-contexte a testé

Liu et ses collègues ont étudié la réponse aux questions multidocuments et la recherche de valeurs clés. Leur article de 2024 sur le TACL a révélé que la performance a changé avec la position de l'information pertinente, le milieu étant souvent plus difficile à utiliser dans les contextes testés. Cela décrit les systèmes évalués dans cette recherche, plutôt qu'une limite universelle pour chaque modèle ultérieur.

Notre application est un simple test local : déplacer le même fait important entre le début, le milieu et la fin d'un paquet de compte représentatif. Gardez la question et la configuration du modèle fixes. Comparez ce que la sortie conserve réellement.

Consultez les méthodes et les résultats originaux dans Lost in the Middle: How Language Models Use Long Contexts.

Le flux de travail pratique

1. Nommez le fait critique
2. Créer un paquet représentatif
3. Varie la position du fait
4. Comparer les actions acceptées
5. Réduire ou diviser le contexte

Comparer les approches

Construire un paquet spécifique à la décision

Inclure un bref dossier d'identité, la question actuelle, quelques passages pertinents, leurs dates et les preuves approuvées du produit. Gardez visible les contradictions non résolues. Des instructions séparées fournies par votre workflow à partir de citations récupérées à partir de pages externes.

Évitez de résumer chaque source en un paragraphe intraçable. Un paquet concis a encore besoin d'identificateurs source pour qu'un examinateur puisse ouvrir le passage original. Lorsque la preuve requise est absente, le paquet doit le dire. Il ne devrait pas demander au modèle de compenser par une conclusion probable.

Consultez les méthodes et les résultats originaux dans Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

Tester une exclusion, pas seulement un fait rappelé

Lors d'une campagne d'expansion fictive, l'unité régionale du compte s'est arrêtée lors d'un examen des achats. Placez cette instruction dans plusieurs postes parmi les rapports d'expansion publique valides par ailleurs. Demandez au workflow de recommander la prochaine action. Une réponse réussie devrait maintenir la pause et proposer une préparation interne.

Ce test est plus pertinent que de se demander si le modèle répète l'année de fondation d'une entreprise. Inclure les contraintes numériques critiques, les filiales ayant des noms similaires et les décisions mises à jour qui remplacent les notes antérieures. Jugez l'action, pas seulement si la sortie mentionne la contrainte quelque part.

Diagnostiquer le chemin d'échec

Si un passage critique n'a pas été récupéré, recherche d'adresse ou indexation. Si elle a été fournie mais ignorée, étudier la structure du paquet et le comportement du modèle. Si le modèle le conservait, mais qu'un outil en aval continuait d'agir, étudier la politique d'action. Ce sont des échecs différents avec différents propriétaires.

Enregistrez la taille du paquet, l'ordre du document, la version du modèle, le résultat et la correction. Répéter l'essai après un modèle de matériau ou un changement de récupération. Un test de passage sur un paquet soigneusement arrangé ne peut pas établir la fiabilité d'une collection différente.

Choisissez une production compacte par défaut

Préférez le plus petit paquet de preuves qui répond à la question tout en préservant les exceptions pertinentes. Permettre au workflow de récupérer plus de matériel lorsqu'un trou nommé apparaît. Gardez des contraintes d'action importantes appliquées dans le logiciel plutôt que de dépendre uniquement de leur importance dans la prose.

Utilisez le test de position pour décider si un paquet plus grand aide. S'il ajoute du temps et manque des contraintes, diviser la tâche en récupération, vérification des revendications et rédaction. Le but est une décision de compte acceptée sur une base traçable, plutôt que le volume maximal de documents.

Pour approfondir la prochaine étape de cette décision, lisez Agents ABM utilisant des outils : concevoir une recherche encadrée.

Votre prochaine liste de contrôle

• Grand paquet & #160;: Sensibilité à la position d'essai. Vérifier la limitation: peut masquer les contraintes pertinentes.
• Paquet ciblé & #160;: Énumérer les questions non résolues. Vérifier la limitation: peut omettre les preuves nécessaires.
• Récupération par étapes : Récupération et sélection des registres. Vérifiez la limitation : ajoute la complexité du workflow.
• Contrainte logicielle : Appliquer avant toute action. Vérifier la limitation: doit maintenir la politique.

Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.

Les questions auxquelles ce guide répond