Scovai Scovai
AI & Operations 2026-11-12 1 min read

En mayo llegó un revisor más estricto y la tendencia de calidad de tu agente se aplanó — el agente había estado mejorando todo el tiempo

DSL

Dr. Sarah Liu

En mayo llegó un revisor más estricto y la tendencia de calidad de tu agente se aplanó — el agente había estado mejorando todo el tiempo

Dos revisores puntuaron los mismos lotes del mismo agente de IA en producción y diferían en 0,79 desviaciones estándar en el índice de calidad compuesto. El mayor movimiento de calidad que produjo un único despliegue registrado en esos mismos seis meses fue de 0,20 desviaciones estándar (Zhang & Esposito, 2026). El ruido en esa evaluación del agente de IA era aproximadamente cuatro veces la señal que debía detectar. Cuando en mayo se incorporó un revisor más estricto a la rotación, la tendencia bruta de calidad de la empresa se aplanó — y el agente había estado mejorando todo el tiempo.

No es una historia sobre revisores descuidados. Es la historia de lo que ocurre cuando se opera un flujo de puntuaciones sin comprobar nunca si esas puntuaciones son comparables entre sí.

El estudio: 2.611 entrevistas puntuadas, 14 lotes, un agente en producción

Liu Zhang y Mark Esposito estudiaron una única empresa que opera un agente de IA de voz y vídeo que realiza entrevistas de trabajo en directo. De marzo a agosto de 2026, el propio pipeline de evaluación de la empresa puntuó 2.611 grabaciones de producción en 14 lotes con una rúbrica de nueve familias, con revisores humanos solapados deliberadamente dentro de cada lote. Ese solapamiento es todo el método: es lo único que permite separar cuán estricto es un revisor de cuánto mejoró realmente el agente (Zhang & Esposito, 2026).

El diseño importa porque reproduce lo que ya hacen los equipos de operaciones del mid-market. Dos o tres personas puntúan la salida del agente con una rúbrica, las puntuaciones llegan a un panel y alguien lee la línea. La única diferencia es que la mayoría de los equipos no solapan a sus revisores — y por tanto no tienen forma de distinguir los dos efectos.

Esto es lo que reveló el solapamiento.

El revisor B — un formador que se incorporó en mayo — puntuó los mismos lotes 0,79 desviaciones estándar (SE 0,05) por debajo del revisor A. En los nueve lotes que ambos puntuaron, la brecha fue negativa en cada uno de los lotes, de −0,90 a −0,53 DE, con una brecha agregada por varianza inversa de −0,77 (SE 0,03). Una prueba de heterogeneidad rechaza la constancia exacta (Q = 19,0, p = 0,01), de modo que el desvío es una aproximación y no una constante limpia — pero la dirección no se invirtió ni una sola vez.

Quita el efecto del revisor y el cuadro se invierte. El índice de calidad latente subió 0,53 desviaciones estándar, de 0,05 DE el 29 de marzo a 0,58 DE el 10 de agosto. La mejora era real. La línea plana era un artefacto de quién sostenía el bolígrafo. La tasa latente de fallos críticos cuenta la misma historia con otra forma: 2,8 % en marzo, con un pico del 6,3 % en torno al 9 de mayo, y luego un descenso sostenido hasta el 2,5 % el 10 de agosto (Zhang & Esposito, 2026).

La brecha entre revisores era mayor que cualquier cosa que hiciera el agente

Pon los tres componentes de varianza uno al lado del otro, porque el orden es el hallazgo:

  • Desvío del revisor: 0,79 DE
  • Ruido entrevista a entrevista: 0,89 DE (nivel caso)
  • Movimiento real entre lotes: 0,20 DE

Los tres provienen del mismo conjunto de datos (Zhang & Esposito, 2026). El movimiento genuino en la calidad del agente es el término más pequeño del sistema. Un cambio de plantilla en el lado de la revisión fue, por sí solo, lo bastante grande como para borrar seis meses de mejora real de la tendencia bruta. Un equipo que mirara ese panel en junio habría concluido que el agente se había estancado — y podría razonablemente haber revertido un despliegue que estaba funcionando.

Esta es la parte en la que vale la pena detenerse. La mayoría de los debates sobre gobernanza de agentes giran en torno a cuánta supervisión comprar. Este resultado dice que la pregunta previa es si la supervisión que ya compraste produce números comparables entre sí a lo largo del tiempo. Si no lo hace, añadir más suma volumen, no información.

Más estricto en la rúbrica, más indulgente en el criterio bloqueante

La inversión que hay dentro de los datos es el detalle que debería incomodar a cualquiera que dirija el QA de un agente. El mismo revisor B que puntuaba 0,79 DE más duro en el índice compuesto marcó fallos críticos en el 2,0 % frente al 5,0 % del revisor A — una diferencia intralote de −2,2 puntos porcentuales en dirección opuesta (Zhang & Esposito, 2026).

La severidad no es un único mando. Un revisor puede ser duro con los ítems puntuados y blando con el binario que de verdad detiene un despliegue. Lo que significa que calibrar a tus revisores con la puntuación de la rúbrica no dice nada sobre si coinciden en qué resulta inaceptable. Son dos problemas de calibración distintos, y casi ningún proceso de QA los trata así.

Tu evaluación tiene fecha de caducidad, y la respuesta honesta es «entre una y veintiuna semanas»

La segunda mitad del paper pone un reloj sobre la evidencia. Al estimar la tasa de movimiento no explicado entre despliegues registrados, la incertidumbre de pronóstico sobre el índice alcanza 0,18 DE a las cuatro semanas, 0,25 a las ocho y 0,30 a las doce. Alcanza el tamaño del mayor contraste de despliegue observado — ese cambio de 0,20 DE del 12 de abril — tras unas cinco semanas en la estimación puntual, seis con la tasa agregada.

Y entonces los autores hacen lo que vuelve utilizable este paper: informan del intervalo. En el rango del 95 % para la tasa de deriva, ese horizonte va de 1 a 21 semanas. Catorce lotes identifican una varianza de forma laxa, y la estimación está impulsada por un número pequeño de cambios escalonados.

No cites las cinco semanas sin el intervalo. La amplitud es el hallazgo. Dice que nadie — los autores incluidos — sabe actualmente a qué velocidad caduca la evaluación de un agente, y que una validación trimestral es una apuesta por el extremo optimista de un rango que llega hasta una semana.

Una señal independiente se movió en la misma dirección que el índice ajustado: los tickets de soporte relacionados con entrevistas bajaron alrededor del 10 % al mes en relación con los tickets de incidencias técnicas. Eso es corroboración desde un resultado que el pipeline de evaluación no controla, y vale más que otra rúbrica.

El contraargumento, planteado como debe

Se trata de un único despliegue. Una empresa, un agente, catorce lotes, un documento de trabajo preliminar sin revisión por pares. Los autores son explícitos: «Estos datos no identifican un efecto causal de la evaluación sobre el rendimiento.» Nada de esto demuestra que poner en marcha un programa de evaluación mejorase al agente.

Así que el hallazgo es más estrecho que el titular y más duradero que un caso aislado. La afirmación no es «la evaluación mejora a los agentes». La afirmación es que un flujo de puntuaciones con severidad de revisores no controlada puede invertir el signo de una tendencia real — y eso es una propiedad de la medición, no de esta empresa.

La respuesta refleja es añadir revisores. La teoría también pide cautela ahí: una auditoría más fuerte disuade algunas infracciones pero aumenta el ocultamiento entre los agentes que siguen infringiendo, de modo que la tasa de detección puede caer mientras sube el volumen de auditoría (Gans & Holden, NBER, 2026). El diseño de la supervisión vence al volumen de supervisión en ambas literaturas. Dónde se sitúa el humano es una variable de rendimiento tanto como de seguridad — los puntos de confirmación intermedios programados redujeron el tiempo de finalización en un 13,54 % frente a confirmar solo al final, y el 81 % de los participantes los prefirió (Zhou et al., CHI 2026).

Y no es un problema transitorio que se pueda dejar pasar. En una encuesta a 300 directivos y profesionales tecnológicos que clasificaron 101 tareas agénticas, el 59 % ya prevé supervisión humana permanente, con la rendición de cuentas (48 %) y las alucinaciones (47 %) como preocupaciones declaradas (MIT Technology Review Insights, 2026). Si la capa de revisión humana es permanente, el flujo de puntuaciones que produce es infraestructura permanente — y nadie lo trata así.

Qué corregir en tu evaluación del agente de IA antes del próximo despliegue

Cuatro cambios, en orden de coste. Los dos primeros son casi gratuitos y salen directamente del método del paper.

1. Solapa a los revisores dentro de cada lote. Haz que al menos dos personas puntúen un subconjunto compartido de los mismos ítems en el mismo periodo. Ese único hábito es lo que hace separable la severidad del movimiento real; sin él, cada línea de tendencia que dibujes confunde ambas cosas. Cuesta una doble puntuación sobre una muestra, no una segunda contratación.

2. Calibra la marca de fallo crítico por separado de la puntuación de la rúbrica. Aquí divergían en 2,2 puntos porcentuales en dirección opuesta. Coincidir en un número compuesto no es coincidir en qué detiene una publicación.

3. Reevalúa con los despliegues, no con el calendario. La vigencia de la evidencia decae a un ritmo que no has medido. Ata la evaluación al registro de cambios — cada despliegue registrado recibe una lectura nueva — en lugar de a una fecha de revisión trimestral que puede estar ya cuatro semanas más allá del horizonte útil.

4. Corrobora con un resultado operativo que la evaluación no controle. Tickets, escalados, tasa de retrabajo, tiempo de gestión. Si la rúbrica se mueve y el resultado no, fíate del resultado.

La razón por la que esto no es una preocupación abstracta de medición: en cualquier modelo de gobernanza donde un agente gana autonomía a partir de su propio historial, el flujo de puntuaciones es una superficie de control. Si la autonomía se amplía por tipo de acción a partir de un registro calculado de aprobaciones limpias, o si un puesto se cierra con una scorecard periódica del supervisor, entonces la deriva de los revisores no solo engaña a un panel — decide cuánto margen obtiene un trabajador digital y si un humano se queda en el bucle. Donde esa cadena está escrita de forma explícita — confirmación previa por defecto, autonomía concedida por tipo de acción, un supervisor con nombre por encima de cada puesto, como en el modelo Digital Employee de Scovai — la dependencia es al menos visible. Donde no lo está, la comparabilidad de las puntuaciones subyacentes ha dejado de ser silenciosamente una cuestión de analítica para convertirse en una cuestión de responsabilidad.

La decisión para este trimestre

No necesitas una herramienta nueva, un proveedor nuevo ni un presupuesto de revisión mayor. Necesitas saber si las últimas cuatro puntuaciones de tu evaluación del agente de IA se produjeron con el mismo estándar — y ahora mismo, casi con certeza, no puedes saberlo. No porque el proceso sea malo, sino porque nada en él se diseñó nunca para responder a esa pregunta.

Así que elige la versión mínima que la responda. Este trimestre, haz que un segundo revisor puntúe de forma independiente y a ciegas el 10 % de los ítems que ya puntuó tu revisor principal, en el mismo lote. Compara las dos distribuciones y luego compara esa brecha con el movimiento que estás reportando hacia arriba. Si la brecha se acerca al tamaño de la señal, tu tendencia de calidad del agente estaba midiendo tu cuadrante de turnos.

El coste son unas horas de doble puntuación. La alternativa es seguir tomando decisiones de autonomía, reversión y plantilla sobre un número cuyas unidades cambian cuando alguien se va de vacaciones.

Mide al revisor antes de fiarte de la revisión.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.