Scovai Scovai
Talent Intelligence 2026-11-14 1 min read

Tu evaluador de IA aprobó su prueba de ranking y aun así sobrestimó la tasa de aceptación en 17 puntos

DSL

Dr. Sarah Liu

Tu evaluador de IA aprobó su prueba de ranking y aun así sobrestimó la tasa de aceptación en 17 puntos

Un juez en la nueva auditoría del MIT tenía un sesgo medio de +0,12 puntos en una escala de nueve — estadísticamente el evaluador mejor posicionado de toda la suite. Después informó que el 78,4 % del trabajo era aceptable, donde los trabajadores con experiencia en la misma ocupación, calificando las mismas respuestas, decían 61,1 %. Una desviación de 17,3 puntos porcentuales en un evaluador sin casi ningún error medio (Lyu & Thompson, 2026).

Esa brecha no es un problema de calidad del modelo. Es un problema de validación — y si elegiste tu evaluador de IA como lo hace la mayoría de los equipos de operaciones, está en tu stack ahora mismo, sin medir.

La auditoría, y qué la hace inusual

Harry Lyu y Neil Thompson, del MIT, construyeron O*NET-BENCH, una suite de auditoría ensamblada a partir de un corpus existente de evaluaciones de trabajadores — 45.796 calificaciones de respuestas generadas por IA a tareas laborales derivadas de O*NET, recogidas de trabajadores estadounidenses que seleccionaron una ocupación en la que declaraban experiencia y confirmaron que el puesto ofrecido coincidía (Mertens et al., 2026). No se recogieron nuevos datos humanos para la auditoría. La extracción congelada se fotografió el 18 de agosto de 2026; la evaluación se hizo sobre un conjunto de prueba retenido de 4.501 calificaciones, con identificadores de tarea y trabajadores disjuntos entre particiones.

Sobre ese corpus los autores ejecutaron 33 configuraciones de juez preexistentes en seis familias de modelos — Claude Haiku 4.5 y Opus 4.7, GPT-5.4-mini, GPT-OSS-120B, DeepSeek-V4-Pro, Llama-3.3-70B, Qwen3.5-9B, incluidos checkpoints LoRA — variando ejemplos, presentación pointwise frente a listwise, andamiajes de rúbrica, ajustes de decodificación, autoconsistencia y ensamblado.

Una cautela antes de los números: estos 33 brazos son condiciones experimentales relacionadas, no 33 réplicas independientes, y los trabajadores son el estimando, no la verdad objetiva. El artículo mide el acuerdo con evaluadores experimentados en la ocupación, no la corrección objetiva.

La prueba de ranking que todo evaluador de IA aprueba

Esta es la parte que debería sonar familiar. Las 33 configuraciones ordenaron las respuestas por encima del azar — todos los intervalos agrupados por tarea para la exactitud por pares con empates excluían 0,5. Veinticinco configuraciones superaron 0,60, con una mediana de 0,631 y la configuración casi completa más fuerte en 0,658.

Si tu proveedor te envió una presentación de validación, esto es lo que contenía: correlación con evaluadores humanos, acuerdo por pares, rankings reconstruidos. Con esa evidencia, la mayoría de estos jueces parece apta para el propósito.

Dos hallazgos complican la presentación. Primero, una línea base TF–IDF entrenada solo sobre la respuesta casi iguala al juez más fuerte — es decir, la señal de ordenación es extendida y superficial, y superar un umbral de ranking apenas distingue a un evaluador sofisticado de una regresión de bolsa de palabras. Segundo, la trampa de la cobertura: Llama-3.3-70B ordena solo el 5,1 % de los pares decididos por trabajadores, de modo que una exactitud condicional de 0,631 cae a 0,507 una vez que cuentas los pares que se niega a separar. Un juez puede exhibir una cifra de ranking respetable absteniéndose en casi todo.

La tasa de aceptación es la cifra que de verdad sale de la empresa

Qué significa realmente el umbral

Conviene detenerse en qué significaba «aceptable» aquí, porque la misma ambigüedad vive dentro de la mayoría de los listones de calidad internos. El objetivo principal era manager_accept en una escala de nueve puntos, con el umbral de aceptación fijado en 7 — y 7 se define como mínimamente suficiente sin ediciones, no bueno. Nueve es calidad superior sin ediciones. Así que el 61,1 % de los trabajadores es la proporción de respuestas que una persona con experiencia en esa ocupación entregaría intacta, en el nivel más bajo que todavía cuenta como entregable. Si tu propia tasa de aprobación mezcla «correcto» y «excelente» sin una definición escrita que los separe, tienes el mismo problema una capa antes, y ninguna auditoría lo encontrará por ti.

La cifra de aceptación también es robusta a la ponderación: la proporción de los trabajadores es 61,1 % ponderada por respuesta, 61,5 % con pesos iguales por tarea y 61,6 % con pesos iguales por ocupación, y el rango de 3,0 % a 97,9 % entre jueces permanece esencialmente igual. La dispersión es una propiedad de los jueces, no un artefacto de la agregación.

Nadie presenta la exactitud por pares a un consejo. Se presenta una tasa: esta proporción pasó el filtrado, esta proporción de tickets alcanzó el nivel de calidad, esta proporción del puesto es automatizable.

Sobre las mismas 4.501 respuestas, los 33 jueces estimaron proporciones de aceptación del 3,0 % al 97,9 %, mediana 43,9 %, frente al 61,1 % de los trabajadores. Eso no es ruido alrededor de un valor verdadero — es un rango lo bastante amplio para respaldar cualquier conclusión con la que entraste. Los 33 intervalos de sesgo medio excluían el cero: 29 puntuaron por debajo de los trabajadores, cuatro por encima, sesgo mediano de −1,18 puntos. Claude Opus 4.7 marcó −3,23 puntos, equivalente a 1,7 desviaciones estándar de trabajador, puntuando por debajo del trabajador en el 86 % de las respuestas. El control TF–IDF, con un sesgo medio de −0,05 y ordenación competitiva, quedó en 43,5 % — acertar la media tampoco recupera la tasa.

Y el caso filoso es el que se porta bien. GPT-OSS-120B en pointwise tenía el menor sesgo medio absoluto de la suite, +0,12 [0,01, 0,22]. Su distribución de puntuaciones estaba comprimida — cociente de desviaciones estándar de 0,83 — concentrando masa justo alrededor del punto de corte de aceptación, donde un pequeño error de ubicación empuja una gran proporción de elementos al otro lado de la línea. De ahí el 78,4 % frente al 61,1 %.

Es la dispersión cerca del umbral, no el error medio, lo que determina la tasa. Dos evaluadores con idéntico sesgo medio pueden informar tasas separadas por treinta puntos según lo apretadas que estén sus puntuaciones en el corte. Ninguna métrica de ranking lo detecta. Tampoco una comprobación de sesgo medio.

La calibración mueve la media, no la ubicación

El arreglo obvio es calibrar. Los autores lo hicieron: una calibración isotónica validada cruzadamente en cinco pliegues y agrupada por tarea redujo el sesgo medio absoluto a como mucho 0,003 en cada configuración casi completa. Error de ubicación, resuelto.

Lo que sobrevivió es el problema. Las puntuaciones calibradas explicaban como mucho el 8,5 % de la varianza de las calificaciones individuales de los trabajadores — mejor R² validado cruzadamente de 0,085, desviación estándar residual de 1,85 frente a 1,94 de las calificaciones de los trabajadores. Ahora la media es correcta y las ubicaciones individuales siguen casi igual de dispersas. La autoconsistencia y el ensamblado tampoco lo rescataron: esas configuraciones conservaron sesgos medios de aproximadamente −1,3 a −1,5 puntos. La estimación asistida por predicción produjo, como mucho, pequeñas ganancias de precisión con los presupuestos de etiquetado estudiados.

Y luego está el resultado que debería acabar con la costumbre de ajustar prompts contra una métrica de ranking. En un linaje afinado, pasar de puntuación pointwise a un protocolo few-shot/listwise agrupado mejoró la ordenación de respuestas mientras reducía el acuerdo con las medias de los trabajadores a nivel de tarea y de ocupación. La inversión se replicó en una partición de validación disjunta por tareas y trabajadores, bajo criterios preespecificados. Optimizar la métrica que mides degradó la métrica que informas.

La objeción obvia: volver a poner humanos

Justo — pero los humanos son una escala con su propia deriva. Una auditoría distinta de 2.611 entrevistas gestionadas por agentes encontró una brecha de severidad de 0,79 desviaciones estándar entre revisores, con un revisor más estricto incorporado a mitad de camino que aplanaba una tendencia de calidad medida que en realidad seguía mejorando (Liu Zhang & Esposito, 2026). La revisión humana no es un instrumento calibrado que puedas sustituir; es un segundo instrumento sin calibrar.

La lectura honesta es más estrecha y más útil: ninguna de las dos escalas se autovalida, y solo una es lo bastante barata para auditarse de forma continua. Puedes volver a pasar 4.501 elementos retenidos por un juez cada trimestre. No puedes volver a pasar a tus revisores.

Un límite de alcance dicho con claridad, porque el artículo lo dice: los elementos juzgados son respuestas generadas por IA a tareas ocupacionales, calificadas por su aceptabilidad para un responsable. Esto no es cribado de currículums ni tampoco un experimento de campo sobre contratación. La afirmación transferible es una propiedad de la puntuación por jueces LLM — la validación por ranking no autoriza una tasa — no un efecto medido sobre resultados de contratación. Lo que la vuelve igualmente urgente en lo operativo es que los umbrales son donde las puntuaciones se convierten en decisiones, y los errores de umbral son donde aparece el impacto adverso: una auditoría de herramientas comerciales de contratación encontró un 10,62 % de combinaciones puesto-modelo que incumplían la regla de los cuatro quintos de la EEOC (Stanford HAI, 2026).

Qué debería hacer un Head of Operations este trimestre

Tres movimientos, en orden de rapidez de retorno.

1. Inventaría cada punto donde una puntuación se convierte en tasa. Cortes de preselección, tasas de aprobación de QA, puertas de escalado de agentes, cualquier diapositiva con «el x % de este puesto es automatizable». Cada uno es un umbral. Cada uno se eligió casi con seguridad sobre evidencia de ranking o sobre un benchmark del proveedor, y por tanto nunca se validó para la magnitud que produce.

2. Valida contra el estimando, no contra la ordenación. Coge 300–500 elementos que tu propia gente con experiencia ya haya juzgado, pasa el evaluador sobre ellos y compara tasas — la proporción que tu gente aceptó frente a la proporción que el evaluador acepta en tu corte actual. Si esos dos números difieren en más de unos pocos puntos, tu corte está mal fijado por bien que correlacione el evaluador. Después comprueba la dispersión: si las puntuaciones se amontonan a menos de medio punto del umbral, la tasa es inestable y un cambio de prompt la moverá.

3. Deja de hacer que una sola cifra agregada cargue con la decisión. La defensa estructural contra la ceguera de escala es mantener la aritmética separable del juicio del modelo, de modo que un juez a la deriva mueva un componente visible en lugar de desplazar en silencio un total al otro lado de una línea. El modelo de puntuación de Scovai se apoya en un presupuesto de pesos fijo 50/50 — la mitad calculada a partir de los requisitos declarados del puesto, la mitad devuelta como cuatro subpuntuaciones del modelo etiquetadas por separado, cada una con su razón escrita, con modificadores limitados a ±5 y puntuaciones por debajo del suelo estadístico de su cohorte puesto-seniority derivadas a un revisor humano que el reclutador responsable no puede cerrar por sí mismo. Esa estructura no calibra a un juez. Hace visible a un juez mal calibrado, y mantiene el umbral como una decisión de la que alguien responde, no como un artefacto de una distribución.

La línea que tienes que defender

La instrucción final del artículo es la que conviene llevar a tu próxima conversación con un proveedor: un evaluador de IA debe validarse contra las tasas de aceptación y los agregados que sus puntuaciones servirán para estimar, no contra los rankings que produce de paso. La correlación no es calibración, y la calibración no es ubicación. El apéndice A de la auditoría fija un estándar de reporte de seis puntos para la validación de jueces — algo razonable que poner delante de un proveedor para ver qué vuelve.

Así que la decisión concreta de este trimestre es pequeña e incómoda: elige el único umbral de tu operación que mueve más dinero — el corte de preselección, el listón de QA, la puerta de escalado — y averigua qué tasa habría producido tu propia gente sobre los mismos elementos. Si no puedes responder a eso antes de que acabe el trimestre, no estás gestionando un proceso medido. Estás informando una cifra que nadie ha comprobado.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.