Scovai Scovai
AI & Operations 2026-11-12 1 min read

Um revisor mais rigoroso entrou em maio e a tendência de qualidade do seu agente ficou plana — o agente estava a melhorar todo o tempo

DSL

Dr. Sarah Liu

Um revisor mais rigoroso entrou em maio e a tendência de qualidade do seu agente ficou plana — o agente estava a melhorar todo o tempo

Dois revisores pontuaram os mesmos lotes do mesmo agente de IA em produção e divergiam em 0,79 desvios-padrão no índice composto de qualidade. O maior movimento de qualidade produzido por um único deploy registado nos mesmos seis meses foi de 0,20 desvios-padrão (Zhang & Esposito, 2026). O ruído nessa avaliação do agente de IA era cerca de quatro vezes o sinal que ela devia detetar. Quando um revisor mais rigoroso entrou na rotação em maio, a tendência bruta de qualidade da empresa ficou plana — e o agente estava a melhorar desde o início.

Não é uma história sobre revisores desleixados. É a história do que acontece quando se opera um fluxo de pontuações sem nunca verificar se essas pontuações são comparáveis entre si.

O estudo: 2.611 entrevistas pontuadas, 14 lotes, um agente em produção

Liu Zhang e Mark Esposito estudaram uma única empresa que opera um agente de IA de voz e vídeo que conduz entrevistas de emprego ao vivo. De março a agosto de 2026, o pipeline de avaliação interno da empresa pontuou 2.611 gravações de produção em 14 lotes com uma rubrica de nove famílias, com revisores humanos deliberadamente sobrepostos dentro de cada lote. Essa sobreposição é todo o método: é a única coisa que permite separar quão rigoroso é um revisor de quanto o agente realmente melhorou (Zhang & Esposito, 2026).

O desenho importa porque espelha o que as equipas de operações do mid-market já fazem. Duas ou três pessoas pontuam o output do agente numa rubrica, as pontuações vão para um painel e alguém lê a linha. A única diferença é que a maioria das equipas não sobrepõe os seus revisores — e por isso não tem forma de distinguir os dois efeitos.

Foi isto que a sobreposição revelou.

O revisor B — um formador que entrou em maio — pontuou os mesmos lotes 0,79 desvios-padrão (SE 0,05) abaixo do revisor A. Nos nove lotes que ambos pontuaram, a diferença foi negativa em todos os lotes, variando de −0,90 a −0,53 DP, com uma diferença agregada por variância inversa de −0,77 (SE 0,03). Um teste de heterogeneidade rejeita a constância exata (Q = 19,0, p = 0,01), pelo que o desvio é uma aproximação e não uma constante limpa — mas a direção nunca se inverteu.

Retire-se o efeito do revisor e o quadro inverte-se. O índice latente de qualidade subiu 0,53 desvios-padrão, de 0,05 DP a 29 de março para 0,58 DP a 10 de agosto. A melhoria era real. A linha plana era um artefacto de quem segurava a caneta. A taxa latente de falhas críticas conta a mesma história noutra forma: 2,8 % em março, com um pico de 6,3 % por volta de 9 de maio, e depois uma queda constante até 2,5 % a 10 de agosto (Zhang & Esposito, 2026).

A diferença entre revisores era maior do que qualquer coisa que o agente fez

Coloquem-se as três componentes de variância lado a lado, porque a ordem é o resultado:

  • Desvio do revisor: 0,79 DP
  • Ruído de entrevista para entrevista: 0,89 DP (nível caso)
  • Movimento real entre lotes: 0,20 DP

As três vêm do mesmo conjunto de dados (Zhang & Esposito, 2026). O movimento genuíno na qualidade do agente é o termo mais pequeno do sistema. Uma mudança de pessoal do lado da revisão foi, por si só, suficientemente grande para apagar seis meses de melhoria real da tendência bruta. Uma equipa a olhar para esse painel em junho teria concluído que o agente tinha estagnado — e poderia razoavelmente ter revertido um deploy que estava a funcionar.

Esta é a parte em que vale a pena parar. A maior parte dos debates sobre governação de agentes é sobre quanta supervisão comprar. Este resultado diz que a pergunta anterior é se a supervisão que já comprou produz números comparáveis entre si ao longo do tempo. Se não produz, mais dela acrescenta volume, não informação.

Mais rigoroso na rubrica, mais tolerante no critério bloqueador

A inversão dentro dos dados é o detalhe que deveria incomodar qualquer pessoa responsável pelo QA de um agente. O mesmo revisor B que pontuava 0,79 DP mais duramente no índice composto sinalizou falhas críticas a 2,0 % contra 5,0 % do revisor A — uma diferença intra-lote de −2,2 pontos percentuais em direção oposta (Zhang & Esposito, 2026).

O rigor não é um único botão. Um revisor pode ser duro nos itens pontuados e brando no binário que de facto bloqueia um deploy. O que significa que calibrar os revisores pela pontuação da rubrica nada diz sobre se concordam quanto ao que é inaceitável. São dois problemas de calibração distintos, e quase nenhum processo de QA os trata assim.

A sua avaliação tem prazo de validade, e a resposta honesta é «entre uma e vinte e uma semanas»

A segunda metade do artigo coloca um relógio sobre a evidência. Ao estimar a taxa de movimento não explicado entre deploys registados, a incerteza de previsão sobre o índice atinge 0,18 DP após quatro semanas, 0,25 após oito e 0,30 após doze. Atinge a dimensão do maior contraste de deploy observado — aquela mudança de 0,20 DP a 12 de abril — após cerca de cinco semanas na estimativa pontual, seis com a taxa agregada.

E então os autores fazem o que torna este artigo utilizável: reportam o intervalo. No intervalo de 95 % para a taxa de deriva, esse horizonte vai de 1 a 21 semanas. Catorze lotes identificam uma variância de forma frouxa, e a estimativa é conduzida por um número pequeno de mudanças em degrau.

Não cite as cinco semanas sem o intervalo. A amplitude é o resultado. Diz que ninguém — incluindo os autores — sabe atualmente com que rapidez a avaliação de um agente se torna obsoleta, e que uma validação trimestral é uma aposta no extremo otimista de um intervalo que desce até uma semana.

Um sinal independente moveu-se na mesma direção do índice ajustado: os tickets de suporte relacionados com entrevistas caíram cerca de 10 % por mês relativamente aos tickets de problemas técnicos. É corroboração a partir de um resultado que o pipeline de avaliação não controla, e vale mais do que outra rubrica.

O contra-argumento, formulado como deve ser

Trata-se de um único deployment. Uma empresa, um agente, catorze lotes, um working paper preliminar sem revisão por pares. Os autores são explícitos: «Estes dados não identificam um efeito causal da avaliação sobre o desempenho.» Nada aqui mostra que operar um programa de avaliação tornou o agente melhor.

Logo, o resultado é mais estreito do que o título e mais durável do que um caso isolado. A afirmação não é «a avaliação melhora os agentes». A afirmação é que um fluxo de pontuações com rigor de revisores não controlado pode inverter o sinal de uma tendência real — e isso é uma propriedade da medição, não uma propriedade desta empresa.

A resposta reflexa é acrescentar revisores. A teoria também pede cautela aí: auditoria mais forte dissuade algumas infrações mas aumenta a ocultação entre os agentes que continuam a infringir, pelo que a taxa de deteção pode cair à medida que o volume de auditoria sobe (Gans & Holden, NBER, 2026). O desenho da supervisão vence o volume da supervisão em ambas as literaturas. Onde o humano se coloca é uma variável de throughput tanto quanto de segurança — pontos de confirmação intermédios agendados reduziram o tempo de conclusão em 13,54 % face a confirmar apenas no fim, e 81 % dos participantes preferiram-nos (Zhou et al., CHI 2026).

E não é um problema transitório que se possa deixar passar. Num inquérito a 300 executivos e profissionais de tecnologia que classificaram 101 tarefas agênticas, 59 % já planeiam supervisão humana permanente, com responsabilização (48 %) e alucinações (47 %) como preocupações declaradas (MIT Technology Review Insights, 2026). Se a camada de revisão humana é permanente, o fluxo de pontuações que produz é infraestrutura permanente — e ninguém o trata assim.

O que corrigir na avaliação do seu agente de IA antes do próximo deploy

Quatro mudanças, por ordem de custo. As duas primeiras são quase gratuitas e saem diretamente do método do artigo.

1. Sobreponha revisores dentro de cada lote. Faça com que pelo menos duas pessoas pontuem um subconjunto partilhado dos mesmos itens no mesmo período. Esse único hábito é o que torna o rigor separável do movimento real; sem ele, toda a linha de tendência que desenhar confunde os dois. Custa dupla pontuação numa amostra, não uma segunda contratação.

2. Calibre a marca de falha crítica separadamente da pontuação da rubrica. Aqui divergiram 2,2 pontos percentuais em direção oposta. Concordar num número composto não é concordar sobre o que trava um lançamento.

3. Reavalie nos deploys, não no calendário. A atualidade da evidência decai a um ritmo que não mediu. Ligue a avaliação ao registo de alterações — cada deploy registado recebe uma leitura nova — em vez de a uma data de revisão trimestral que pode já estar quatro semanas além do horizonte útil.

4. Corrobore com um resultado operacional que a avaliação não controle. Tickets, escalamentos, taxa de retrabalho, tempo de atendimento. Se a rubrica se mexe e o resultado não, confie no resultado.

A razão pela qual esta não é uma preocupação abstrata de medição: em qualquer modelo de governação em que um agente ganha autonomia a partir do seu próprio histórico, o fluxo de pontuações é uma superfície de controlo. Se a autonomia se expande por tipo de ação a partir de um registo calculado de aprovações limpas, ou se um posto é encerrado com um scorecard periódico do supervisor, então a deriva dos revisores não engana apenas um painel — decide quanta margem um trabalhador digital recebe e se um humano permanece no circuito. Onde essa cadeia está escrita de forma explícita — confirmação primeiro por omissão, autonomia concedida por tipo de ação, um supervisor com nome acima de cada posto, como no modelo Digital Employee da Scovai — a dependência é pelo menos visível. Onde não está, a comparabilidade das pontuações subjacentes deixou silenciosamente de ser uma questão de analytics para se tornar uma questão de responsabilidade.

A decisão para este trimestre

Não precisa de uma ferramenta nova, de um fornecedor novo ou de um orçamento de revisão maior. Precisa de saber se as últimas quatro pontuações da avaliação do seu agente de IA foram produzidas pelo mesmo padrão — e neste momento, quase com certeza, não consegue dizê-lo. Não porque o processo seja mau, mas porque nada nele foi desenhado para responder a essa pergunta.

Escolha então a versão mínima que responda. Neste trimestre, peça a um segundo revisor que pontue de forma independente e cega 10 % dos itens já pontuados pelo revisor principal, no mesmo lote. Compare as duas distribuições e depois compare essa diferença com o movimento que tem reportado para cima. Se a diferença se aproximar da dimensão do sinal, a tendência de qualidade do seu agente andava a medir a sua escala de turnos.

O custo são algumas horas de dupla pontuação. A alternativa é continuar a tomar decisões de autonomia, reversão e efetivos sobre um número cujas unidades mudam quando alguém vai de férias.

Meça o revisor antes de confiar na revisão.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.