Humains et IA : évaluer l’organisation du travail

Séparer la responsabilité du travail répétitif

La responsabilité signifie posséder la décision et ses conséquences. Cela ne signifie pas qu'un spécialiste doit effectuer manuellement chaque étape répétable. Un agent peut récupérer des documents, réconcilier un champ structuré ou préparer une ébauche alors qu'un propriétaire nommé reste responsable de l'acceptation et de l'activation.

Découpez la tâche en parties observables avant de choisir la structure de l'équipe. L'appariement des entités, la vérification des réclamations, l'interprétation des parties prenantes et le contact avec le client nécessitent différents intrants et vérifications d'erreurs. Une seule étiquette, comme celle dirigée par l'homme ou l'agent-premier, ne décrit pas comment ces décisions sont prises.

Ce que la méta-analyse a trouvé

Vaccaro, Almaatouq et Malone ont analysé 106 expériences regroupant 370 tailles d’effet. Leur méta-analyse de 2024 indique qu’en moyenne, la combinaison humain–IA obtenait une performance inférieure à celle du meilleur participant seul, avec de fortes variations selon la tâche. Les tâches de création présentaient des tendances différentes des tâches de décision.

Cela n'établit pas que tout examen est préjudiciable ou que tout travail autonome est supérieur. Les preuves combinent différents systèmes, tâches et conceptions de collaboration. Notre application est de tester la combinaison réelle utilisée pour une décision de compte au lieu de supposer que l'ajout d'un examinateur l'améliore automatiquement.

Consultez les méthodes et les résultats originaux dans When combinations of humans and AI are useful.

Le flux de travail pratique

1. Décomposition de la tâche
2. Comparer trois plans de travail
3. Attribuer une décision d'examen spécifique
4. Mesurer les corrections et le temps total
5. Revisiter la répartition des exceptions

Comparer les approches

Donnez un examen d'un emploi spécifique

Un examinateur vérifie si un passage appuie une affirmation. Un propriétaire de compte vérifie si l'hypothèse correspond à une relation connue. Un ordonnateur d'activation vérifie si le contact est approprié et autorisé. L'attribution d'une personne à une inspection occasionnelle de l'ébauche peut laisser ces responsabilités obscures.

Montrez aux évaluateurs la source et la décision précise dont ils ont besoin. Préserver les désaccords plutôt que de forcer l'approbation par un résumé attrayant. Permettre de renvoyer une ébauche pour une correction nommée. L'examen devrait créer une sortie mieux acceptée, et non pas simplement un enregistrement que quelqu'un a cliqué approuver.

Comparer trois versions d'un mémoire

Pour une tâche de compte fictif, préparez des sorties humaines, agents et combinées en utilisant la même rubrique de collecte et d'acceptation de sources. Inclure le temps de préparation, d'examen et de correction. Avoir un évaluateur distinct pour évaluer l'exactitude, le soutien et l'utilité de l'identité sans voir l'étiquette du processus dans la mesure du possible.

La sortie de l'agent seulement peut être évaluée dans un bac à sable sans être envoyée aux acheteurs. La responsabilité opérationnelle demeure en place pendant l'essai. Si la conception combinée prend des erreurs mais double le temps de correction, inspecter l'interface et la division du travail avant de congédier l'un ou l'autre participant.

Rechercher des forces complémentaires

L'expérience d'écriture professionnelle de Noy et ZhangS fournit un exemple utile d'assistance mesurée, mais ses résultats concernent l'écriture de tâches plutôt que les décisions d'achat d'ABM. Gardez cette distinction lors du choix des étapes à automatiser.

Utilisez des contrôles structurés répétés pour déterminer les conditions que le logiciel peut appliquer de façon cohérente. Utiliser un jugement de compte spécialisé lorsque les preuves disponibles sont incomplètes et que le contexte relationnel est en jeu. Suivre les interventions des évaluateurs qui changent d'acceptation. Si un examen ne modifie jamais une décision importante, vérifier s'il est redondant ou si l'examinateur n'a pas les renseignements nécessaires.

Consultez les méthodes et les résultats originaux dans Experimental evidence on the productivity effects of generative artificial intelligence.

Revisiter l'allocation à mesure que la tâche change

Une mise à jour systématique des données des comptes peut devenir une exception lorsque deux sources ne sont pas d'accord. Une ébauche à faible risque peut devenir une conséquence lorsqu'elle comprend une allégation sensible. Faire le suivi de ces changements explicitement plutôt que d'utiliser la même profondeur de révision pour chaque sortie.

Enregistrez la tâche, le propriétaire de l'acceptation, les preuves requises, les vérifications automatiques et l'état d'escalade. Évaluer cette matrice après des changements importants dans la capacité du modèle, l'accès à la source ou la portée du programme. L'objectif opérationnel est un travail accepté fiable à un coût total défendable.

Pour approfondir la prochaine étape de cette décision, lisez Faire de la validation humaine une décision explicite.

Votre prochaine liste de contrôle

• Seulement humain: Documenter les apports de décision. Vérifier la limitation: la capacité peut être limitée.
• Test de l'agent uniquement : Évaluer dans un cadre contrôlé. Vérifier la limitation: peut échouer sur les exceptions.
• Conception combinée: Donnez aux évaluateurs une tâche précise. Vérifiez la limitation: l'examen peut ajouter de la friction.
• Contrôle déterministe: Inclure les cas non résolus. Vérifier la limitation : ne peut interpréter toutes les exceptions.

Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.

Les questions auxquelles ce guide répond