Scovai Scovai
AI & Operations 2026-11-16 1 min read

Los mismos 15 minutos de acceso a la IA, movidos a después del filtro, no aportaron nada a los equipos. Diez modelos de frontera no vieron la diferencia.

DSL

Dr. Sarah Liu

Los mismos 15 minutos de acceso a la IA, movidos a después del filtro, no aportaron nada a los equipos. Diez modelos de frontera no vieron la diferencia.

El mismo modelo. Los mismos quince minutos. La misma tarea. Mueva esa ventana de la primera mitad de la hora a la segunda, y la creatividad evaluada por expertos cae 0,62 desviaciones estándar (Huang, Yu, Chen & Zhou, 2026). Nada cambió en la herramienta: solo el momento en que se permitió al equipo usarla. Ese hallazgo convierte el momento del acceso a la IA en una decisión de configuración con un precio medible, y en la mayoría de las empresas es una decisión que nadie ha tomado: el asistente simplemente está encendido, siempre, para todos.

El estudio es un experimento de laboratorio preinscrito con 148 equipos de tres personas (444 participantes), asignados aleatoriamente a cinco calendarios de acceso al mismo modelo de lenguaje durante una tarea de diseño de producto de 40 minutos. La tarea tenía una fase de búsqueda de 15 minutos, una fase de selección de 15 minutos y una fase de desarrollo. La compuerta de decisión —los autores la llaman the screen, el filtro— caía en el minuto 15 en todas las condiciones.

Qué movió realmente el experimento

Cinco condiciones: el asistente solo durante la búsqueda, solo durante la selección, todo el tiempo, nunca, y durante la búsqueda con una advertencia permanente sobre la dependencia excesiva. La plataforma imponía cada ventana, y las 2.124 consultas registradas cayeron dentro de la ventana asignada. El asistente era un único modelo (DeepSeek V3.2) a temperatura 0,1. Cuatro evaluadores con cinco a diez años de experiencia en el sector puntuaron cada entrega a ciegas.

El contraste principal enfrenta el acceso en fase de búsqueda al acceso en fase de selección: 0,356 puntos en la escala de valoración, IC 95 % [0,064, 0,648], Welch p = 0,018, que los autores reportan como 0,62 desviaciones estándar. Sobrevive a su corrección preinscrita de Benjamini-Hochberg sobre los ocho contrastes.

Frente al grupo de control sin IA, el patrón se afila:

CondiciónGanancia vs. sin IAvalor p
Acceso durante la búsqueda+0,486 puntos0,002
Acceso todo el tiempo+0,479 puntos0,002
Acceso solo durante la selección+0,130 puntos0,43

Dos cosas en esa tabla merecen una segunda lectura. Primero, el acceso tardío no produjo ninguna ganancia medible, pero tampoco dejó a los equipos peor que no tener IA en absoluto. Los autores son explícitos: no encuentran evidencia directa de una penalización; el coste es una prima perdida, no un daño. Segundo, añadir acceso en fase de selección sobre el acceso en fase de búsqueda no aportó nada: continuo frente a solo-temprano da −0,007 puntos. Todo el retorno estaba en la primera ventana.

Por qué el momento del acceso a la IA decide el retorno

Los registros de la plataforma localizan el mecanismo con precisión, y no tiene que ver con el esfuerzo ni con las tasas de uso. Los equipos usaron el modelo a tasas similares en todas las condiciones.

Los equipos con acceso temprano llegaron a la compuerta con 19,8 ideas distintas escritas, frente a 3,9 de los equipos sin IA: un fondo cinco veces mayor. La mayor parte era de origen máquina (18,6 ideas), y las ideas propias de los equipos de hecho cayeron de 3,9 a 1,3. El asistente desplazó parte de su ideación mientras multiplicaba el fondo. Luego podaron: cerca de un tercio de las ideas reunidas (32 %) reapareció en la entrega, la misma proporción que los equipos sin IA, y las entregas llevaban 2,9 propuestas.

Ahí está toda la historia. Un fondo amplio, luego un filtro humano, luego un compromiso estrecho.

Los equipos con acceso tardío alcanzaron la misma compuerta con 3,8 ideas: estadísticamente idénticas a las 3,9 del control, exactamente como implica la aleatorización. Luego recibieron el modelo, y no lo usaron para elegir. Lo usaron para buscar de nuevo. Manteniendo fijos la ventana, el prompt del sistema y el modelo —acceso tardío frente a acceso continuo, la comparación limpia—, los equipos con acceso tardío dedicaron el 29 % de sus consultas de la fase de selección a generar nuevas opciones, frente al 11 % de los equipos que ya habían tenido el asistente durante la búsqueda.

La consecuencia se ve en lo que sobrevivió. Solo el 5 % del texto entregado por los equipos con acceso tardío existía antes de la compuerta, frente al 22 % de los equipos sin IA y el 71 % de los equipos con acceso temprano. Las opciones tardías no se sumaron al conjunto filtrado. Lo reemplazaron. La similitud por embeddings de frases da el mismo patrón, así que no se trata del asistente reformulando lo que los equipos ya tenían.

Opciones que nunca conocieron al equipo

Un detalle vale la pena señalar para quien gestione un proceso de revisión. Entre los equipos con acceso tardío, el material de origen máquina entró en las entregas sin haber sido compartido nunca con los compañeros de equipo en el 9,6 % de los casos, frente al 3,9 % con acceso temprano. Cuando los autores mantienen fijo el tipo de solicitud, la mayoría de las diferencias entre ambas condiciones se encogen y pierden significación, pero la adopción no compartida sobrevive. Tarde en una tarea, con una decisión pendiente, la producción va directa a la entrega sin pasar por un segundo par de ojos.

Es el mismo fallo que mide la verification tax en el campo: el 52 % de los trabajadores corrige con regularidad trabajo generado por IA producido por colegas, y el 42 % dedica más tiempo a verificar la salida de la IA del que ahorra usándola (Adaptavist, 2026). La producción no filtrada no desaparece. Se convierte en el problema de filtrado de otra persona, un paso más abajo.

El acceso tardío compró amplitud, y la amplitud no es calidad

Los equipos con acceso tardío no estuvieron inactivos. Produjeron más. Las propuestas por entrega subieron 1,53 respecto al control (SE 0,54, p = 0,005): un aumento del 73 % sobre la media de control de 2,10 propuestas, y el doble del aumento con acceso temprano.

Los evaluadores humanos no lo premiaron. Entre equipos, cada propuesta adicional se asoció con una valoración 0,179 puntos más baja. Llegaron más opciones y la calidad por opción bajó, que es lo esperable cuando un presupuesto de desarrollo fijo se reparte entre más candidatos.

Esta es la forma del problema para quien dirige operaciones: el acceso tardío a la IA aumenta de forma fiable la producción visible y falla de forma igual de fiable en aumentar la calidad evaluada. Si su panel cuenta artefactos, el acceso tardío parece una victoria.

La objeción honesta: este hallazgo lleva dentro una regla de puntuación

Los autores desarrollan ellos mismos la objeción, y es la parte más útil del trabajo. Dé crédito a la amplitud, y el veredicto se mueve.

Añada γ puntos por propuesta a la puntuación de cada equipo, y la ventaja de lo temprano sobre lo tardío baja de 0,356 en γ = 0 a 0,279 en γ = 0,1, y a 0,203 en γ = 0,2 (p = 0,076), y se desvanece por completo en γ = 0,46. Con un crédito de solo 0,1 puntos por propuesta, el acceso tardío supera al control sin IA. El acceso temprano también lidera por 0,356 en la propuesta media, por 0,221 en la mejor propuesta, y se invierte en el total: los equipos con acceso tardío suman más puntos.

Así que la afirmación honesta es condicional: si lo que necesita es un compromiso sólido único, dé el asistente al equipo antes del filtro. Si lo que necesita es un abanico amplio de opciones para llevar adelante, el acceso tardío no es un modo de fallo. El error es no elegir. Un asistente siempre encendido fija este parámetro por defecto, y el defecto es el caro para el trabajo de compromiso.

Tres límites adicionales pertenecen a cualquier resumen interno de este estudio. Los participantes eran 444 estudiantes universitarios en China, edad media 21,6 años, en una tarea estructurada de 40 minutos con un único modelo; los autores declaran sin rodeos que su diseño «cambia amplitud de contexto por identificación limpia». El diseño tenía potencia para d ≈ 0,74 y encontró g = 0,62, así que no es un efecto estimado con precisión, aunque sobreviva a la corrección. Y la comparación temprano-contra-tardío arrastra un factor de confusión de prompt que los autores revelan: el prompt del sistema se fijaba por fase, de modo que al asistente de búsqueda se le indicó generar y al de selección refinar. La comparación que mantiene fijos prompt, ventana y modelo es acceso tardío frente a acceso continuo, es decir el resultado 29 % contra 11 %, y apunta en la misma dirección.

Su evaluador de IA no lo detectará

Aquí está el hallazgo que debería cambiar un proceso, no una opinión.

Cada propuesta fue puntuada también por diez modelos de lenguaje de frontera de cinco familias de modelos, usando la misma rúbrica que los expertos humanos. El panel era internamente consistente y sus puntuaciones por equipo correlacionaban 0,61 con las del panel humano. Detectó correctamente el beneficio bruto del acceso a la IA, situando cada condición de acceso entre 0,58 y 1,41 desviaciones estándar por encima del control.

No pudo ver en absoluto el coste del momento. El contraste temprano-contra-tardío fue de 0,59 desviaciones estándar bajo las valoraciones humanas (p = 0,019) y de −0,08 bajo el panel de modelos (p = 0,77). Excluyendo el modelo más cercano al asistente queda en −0,10; excluyendo ambos modelos DeepSeek queda en −0,08, así que no es autopreferencia. La ceguera aparece en todas las dimensiones —originalidad, adecuación, elaboración, calidad del texto— donde los expertos humanos veían brechas de 0,5 a 0,7 SD.

Parte de la explicación es mecánica. Los evaluadores humanos restaban 0,179 puntos por cada propuesta adicional; el panel de modelos restaba 0,063. El panel no valoró la amplitud como lo hicieron los expertos, y la amplitud es exactamente lo que produjo el acceso tardío.

La frase de los autores es la que conviene llevar a un comité de dirección: una organización que evalúa el trabajo asistido por IA con jueces de IA «verá que la asistencia ayuda, pero no que su momento importa».

No es un resultado aislado sobre una sola rúbrica. Las capas de evaluación son instrumentos de medida con propiedades propias, y derivan: en un estudio longitudinal de revisión de salidas de agentes, un revisor más estricto incorporado en mayo puntuó lotes idénticos 0,79 SD más bajo y aplanó en los datos brutos una tendencia real de mejora de 0,53 SD (Efectos del evaluador en la evaluación de agentes, 2026). Sea su juez humano o un modelo, necesita calibrarse contra algo antes de dejarle calificar un despliegue.

Hay un paralelo digno de mención en el lado de las capacidades. En un ensayo aleatorizado de tres meses con 133 abogados de patentes, el acceso a la IA elevó la calidad del trabajo entregado 0,38 SD a los 90 días, y cuando se retiró la herramienta, la ventaja retenida se concentró en los abogados senior con 0,45 SD mientras los juniors no mostraron ganancia media alguna (Autor et al., NBER w35720, 2026). La calidad entregada y el juicio subyacente se separaron. El estudio sobre el momento es la misma lección un nivel más arriba: el artefacto parece correcto mientras el proceso que debería haberlo producido no se ejecutó.

Qué debería hacer un Head of Operations este trimestre sobre el momento del acceso a la IA

Cuatro movimientos concretos, por orden de coste.

  1. Encuentre sus filtros y póngalos por escrito. Para sus dos o tres flujos de trabajo recurrentes de mayor impacto, nombre el momento en que el conjunto de opciones se cierra y empieza el compromiso. La mayoría de los equipos no sabe señalarlo, y esa es la precondición para programar mal el acceso.
  2. Decida, flujo por flujo, si está comprando profundidad o amplitud. Es la cuestión γ hecha concreta. El trabajo de compromiso —una propuesta, un proveedor, un plan— quiere el asistente antes del filtro. El trabajo de abanico lo quiere después. Escriba la respuesta en la definición del flujo en vez de dejarla a quien abra una ventana de chat.
  3. Restrinja el uso de IA posterior al filtro al desarrollo, no a la generación. La brecha 29 % contra 11 % es el fallo medible. Donde la primera contribución del asistente llega necesariamente tarde, exija que la salida tardía se compare con lo ya elegido en vez de competir con ello sin filtrar.
  4. Valide su evaluador antes de confiar en un veredicto. Puntúe un lote con su juez automatizado y con dos humanos experimentados, y compare los contrastes que de verdad le importan, no solo el acuerdo global. Un panel que correlaciona 0,61 en niveles puede devolver aun así −0,08 en la comparación que cuenta.

Los puntos tercero y cuarto son cuestiones de configuración, no de formación, y por eso una gobernanza por tarea supera a una política general. Donde ese trabajo ocurre en una plataforma y no en un documento, los controles relevantes son los que se sitúan al nivel de la acción individual: los Digital Employees de Scovai son confirm-first por defecto, con autonomía ganada por tipo de acción a partir de un registro auditado de aprobaciones y occupancy fijada por puesto, de modo que «el asistente puede desarrollar una opción elegida pero no puede abrir una nueva después de la compuerta» es un ajuste aplicado con rastro de auditoría, no una línea en un manual que nadie lee en el minuto 22.

Observe lo que nada de esto exige. Ninguna herramienta nueva, ninguna partida presupuestaria nueva, ninguna migración de modelo. El experimento cambió un parámetro que su empresa ya está fijando por accidente, cada día, en cada flujo de trabajo donde alguien tiene una ventana de chat abierta.

Elija su decisión recurrente de mayor impacto de este trimestre y hágase una pregunta: ¿la IA llega antes del filtro, o después? Si nadie sabe responder, no está dirigiendo un piloto de IA. Está ejecutando la condición cara por defecto, y si un juez de IA la está calificando, nada en sus informes se lo dirá nunca.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.