Deux évaluateurs ont noté les mêmes lots du même agent IA en production et divergeaient de 0,79 écart-type sur l'indice de qualité composite. Le plus grand mouvement de qualité produit par un seul déploiement enregistré sur ces six mois a été de 0,20 écart-type (Zhang & Esposito, 2026). Le bruit dans cette évaluation d'agent IA valait environ quatre fois le signal qu'elle devait détecter. Lorsqu'un évaluateur plus sévère a rejoint la rotation en mai, la tendance qualité brute de l'entreprise s'est aplatie — alors que l'agent progressait depuis le début.
Ce n'est pas une histoire d'évaluateurs négligents. C'est l'histoire de ce qui arrive quand on fait tourner un flux de scores sans jamais vérifier si ces scores sont comparables entre eux.
L'étude : 2 611 entretiens notés, 14 lots, un agent en production
Liu Zhang et Mark Esposito ont étudié une seule entreprise exploitant un agent IA voix-et-vidéo qui mène des entretiens d'embauche en direct. De mars à août 2026, le pipeline d'évaluation interne de l'entreprise a noté 2 611 enregistrements de production en 14 lots selon une grille à neuf familles, avec des évaluateurs humains délibérément chevauchés à l'intérieur de chaque lot. Ce chevauchement est toute la méthode : c'est la seule chose qui permette de séparer la sévérité d'un évaluateur de la progression réelle de l'agent (Zhang & Esposito, 2026).
Le dispositif compte parce qu'il reproduit ce que font déjà les équipes opérations du mid-market. Deux ou trois personnes notent la production de l'agent sur une grille, les scores arrivent sur un tableau de bord, et quelqu'un lit la courbe. La seule différence est que la plupart des équipes ne font pas chevaucher leurs évaluateurs — elles n'ont donc aucun moyen de distinguer les deux effets.
Voici ce que le chevauchement a révélé.
L'évaluateur B — un formateur arrivé en mai — a noté les mêmes lots 0,79 écart-type (SE 0,05) en dessous de l'évaluateur A. Sur les neuf lots qu'ils ont tous deux notés, l'écart était négatif dans chaque lot sans exception, de −0,90 à −0,53 ET, avec un écart agrégé en variance inverse de −0,77 (SE 0,03). Un test d'hétérogénéité rejette la constance exacte (Q = 19,0, p = 0,01) : le décalage est donc une approximation plutôt qu'une constante propre — mais le sens ne s'est jamais inversé.
Retirez l'effet évaluateur et le tableau s'inverse. L'indice de qualité latent a progressé de 0,53 écart-type, de 0,05 ET le 29 mars à 0,58 ET le 10 août. L'amélioration était réelle. La ligne plate était un artefact de qui tenait le stylo. Le taux latent d'échecs critiques raconte la même histoire sous une autre forme : 2,8 % en mars, un pic à 6,3 % vers le 9 mai, puis une baisse régulière jusqu'à 2,5 % au 10 août (Zhang & Esposito, 2026).
L'écart entre évaluateurs était plus grand que tout ce que l'agent a fait
Placez les trois composantes de variance côte à côte, car c'est l'ordre qui constitue le résultat :
- Décalage d'évaluateur : 0,79 ET
- Bruit d'un entretien à l'autre : 0,89 ET (niveau cas)
- Mouvement réel d'un lot à l'autre : 0,20 ET
Les trois proviennent du même jeu de données (Zhang & Esposito, 2026). Le mouvement véritable de la qualité de l'agent est le terme le plus petit du système. Un changement d'effectif du côté revue a suffi, à lui seul, à effacer six mois d'amélioration réelle de la tendance brute. Une équipe regardant ce tableau de bord en juin aurait conclu que l'agent avait plafonné — et aurait pu raisonnablement annuler un déploiement qui fonctionnait.
C'est la partie sur laquelle il vaut la peine de s'arrêter. La plupart des débats sur la gouvernance des agents portent sur la quantité de supervision à acheter. Ce résultat dit que la question préalable est de savoir si la supervision déjà achetée produit des nombres comparables entre eux dans le temps. Si ce n'est pas le cas, en ajouter produit du volume, pas de l'information.
Plus sévère sur la grille, plus indulgent sur le critère bloquant
Le renversement à l'intérieur des données est le détail qui devrait mettre mal à l'aise quiconque gère le QA d'un agent. Ce même évaluateur B qui notait 0,79 ET plus durement sur l'indice composite a signalé des échecs critiques à 2,0 % contre 5,0 % pour l'évaluateur A — une différence intra-lot de −2,2 points de pourcentage en sens inverse (Zhang & Esposito, 2026).
La sévérité n'est pas un bouton unique. Un évaluateur peut être dur sur les items notés et souple sur le binaire qui bloque réellement un déploiement. Autrement dit, calibrer vos évaluateurs sur le score de la grille ne dit rien de leur accord sur ce qui est inacceptable. Ce sont deux problèmes de calibration distincts, et presque aucun processus de QA ne les traite ainsi.
Votre évaluation a une date de péremption, et la réponse honnête est « entre une et vingt-et-une semaines »
La seconde moitié de l'article met une horloge sur les preuves. En estimant le taux de mouvement non expliqué entre les déploiements enregistrés, l'incertitude de prévision sur l'indice atteint 0,18 ET après quatre semaines, 0,25 après huit et 0,30 après douze. Elle atteint la taille du plus grand contraste de déploiement observé — ce changement de 0,20 ET du 12 avril — après environ cinq semaines à l'estimation ponctuelle, six au taux agrégé.
Et là, les auteurs font ce qui rend cet article utilisable : ils donnent l'intervalle. Sur la plage à 95 % du taux de dérive, cet horizon va de 1 à 21 semaines. Quatorze lots identifient une variance de façon lâche, et l'estimation est portée par un petit nombre de changements en marche d'escalier.
Ne citez pas les cinq semaines sans l'intervalle. La largeur est le résultat. Elle dit que personne — les auteurs inclus — ne sait aujourd'hui à quelle vitesse l'évaluation d'un agent devient obsolète, et qu'une validation trimestrielle est un pari sur l'extrémité optimiste d'une plage qui descend jusqu'à une semaine.
Un signal indépendant a évolué dans le même sens que l'indice corrigé : les tickets de support liés aux entretiens ont baissé d'environ 10 % par mois relativement aux tickets de problèmes techniques. C'est une corroboration par un résultat que le pipeline d'évaluation ne contrôle pas, et cela vaut plus qu'une grille supplémentaire.
Le contre-argument, correctement formulé
Il s'agit d'un seul déploiement. Une entreprise, un agent, quatorze lots, un document de travail préliminaire non évalué par les pairs. Les auteurs sont explicites : « Ces données n'identifient pas un effet causal de l'évaluation sur la performance. » Rien ici ne montre que la mise en place d'un programme d'évaluation a amélioré l'agent.
Le résultat est donc plus étroit que le titre et plus solide qu'un cas isolé. La thèse n'est pas « l'évaluation améliore les agents ». La thèse est qu'un flux de scores dont la sévérité des évaluateurs n'est pas contrôlée peut inverser le signe d'une tendance réelle — et c'est une propriété de la mesure, pas une propriété de cette entreprise.
Le réflexe est d'ajouter des évaluateurs. La théorie invite aussi à la prudence sur ce point : un audit renforcé dissuade certaines infractions mais accroît la dissimulation chez les agents qui enfreignent malgré tout, de sorte que le taux de détection peut baisser quand le volume d'audit augmente (Gans & Holden, NBER, 2026). La conception de la supervision l'emporte sur son volume dans les deux littératures. L'endroit où se place l'humain est une variable de débit autant que de sécurité — des points de confirmation intermédiaires programmés ont réduit le temps d'exécution de 13,54 % par rapport à une confirmation en fin de tâche, et 81 % des participants les ont préférés (Zhou et al., CHI 2026).
Et ce n'est pas un problème transitoire qu'on peut laisser passer. Dans une enquête auprès de 300 dirigeants et praticiens de la technologie classant 101 tâches agentiques, 59 % prévoient déjà une supervision humaine permanente, avec la responsabilité (48 %) et les hallucinations (47 %) comme préoccupations déclarées (MIT Technology Review Insights, 2026). Si la couche de revue humaine est permanente, le flux de scores qu'elle produit est une infrastructure permanente — et personne ne le traite ainsi.
Ce qu'il faut corriger dans votre évaluation d'agent IA avant le prochain déploiement
Quatre changements, par ordre de coût. Les deux premiers sont quasi gratuits et découlent directement de la méthode de l'article.
1. Faites chevaucher les évaluateurs à l'intérieur de chaque lot. Faites noter par au moins deux personnes un sous-ensemble commun des mêmes items sur la même période. Cette seule habitude est ce qui rend la sévérité séparable du mouvement réel ; sans elle, chaque courbe de tendance que vous tracez confond les deux. Cela coûte une double notation sur un échantillon, pas un recrutement supplémentaire.
2. Calibrez le drapeau d'échec critique séparément du score de la grille. Ici, ils divergeaient de 2,2 points de pourcentage en sens inverse. S'accorder sur un nombre composite n'est pas s'accorder sur ce qui bloque une mise en production.
3. Réévaluez sur les déploiements, pas sur le calendrier. L'actualité des preuves se dégrade à un rythme que vous n'avez pas mesuré. Rattachez l'évaluation au journal des changements — chaque déploiement enregistré reçoit une lecture fraîche — plutôt qu'à une date de revue trimestrielle déjà peut-être quatre semaines au-delà de l'horizon utile.
4. Corroborez avec un résultat opérationnel que l'évaluation ne contrôle pas. Tickets, escalades, taux de reprise, temps de traitement. Si la grille bouge et que le résultat ne bouge pas, faites confiance au résultat.
La raison pour laquelle ce n'est pas un souci de mesure abstrait : dans tout modèle de gouvernance où un agent gagne son autonomie sur la base de son propre historique, le flux de scores est une surface de contrôle. Si l'autonomie s'élargit par type d'action à partir d'un registre calculé d'approbations propres, ou si un poste est clôturé par une scorecard périodique du superviseur, alors la dérive des évaluateurs ne trompe pas seulement un tableau de bord — elle décide de la latitude accordée à un travailleur numérique et du maintien d'un humain dans la boucle. Là où cette chaîne est écrite explicitement — confirmation d'abord par défaut, autonomie accordée par type d'action, un superviseur nommé au-dessus de chaque poste, comme dans le modèle Digital Employee de Scovai — la dépendance est au moins visible. Là où elle ne l'est pas, la comparabilité des scores sous-jacents a discrètement cessé d'être une question d'analytique pour devenir une question de responsabilité.
La décision pour ce trimestre
Vous n'avez pas besoin d'un nouvel outil, d'un nouveau fournisseur ni d'un budget de revue plus large. Vous avez besoin de savoir si les quatre derniers scores de votre évaluation d'agent IA ont été produits selon le même standard — et à l'heure actuelle, presque certainement, vous ne pouvez pas le dire. Non parce que le processus est mauvais, mais parce que rien dans celui-ci n'a jamais été conçu pour répondre à cette question.
Choisissez donc la plus petite version qui y répond. Ce trimestre, faites noter en aveugle par un second évaluateur, de façon indépendante, 10 % des items déjà notés par votre évaluateur principal, dans le même lot. Comparez les deux distributions, puis comparez cet écart au mouvement que vous remontez à la direction. Si l'écart approche la taille du signal, votre tendance qualité d'agent mesurait votre planning d'équipe.
Le coût, c'est quelques heures de double notation. L'alternative, c'est de continuer à prendre des décisions d'autonomie, de retour arrière et d'effectifs sur un nombre dont les unités changent quand quelqu'un part en congé.
Mesurez l'évaluateur avant de faire confiance à l'évaluation.