Um juiz na nova auditoria do MIT tinha um viés médio de +0,12 ponto numa escala de nove pontos — estatisticamente o avaliador mais bem posicionado de toda a suite. Em seguida reportou que 78,4% do trabalho era aceitável, onde os trabalhadores com experiência na mesma ocupação, avaliando as mesmas respostas, diziam 61,1%. Um desvio de 17,3 pontos percentuais vindo de um avaliador quase sem erro médio (Lyu & Thompson, 2026).
Essa lacuna não é um problema de qualidade do modelo. É um problema de validação — e se você escolheu o seu avaliador de IA como a maioria das equipas de operações escolhe, ele está no seu stack neste momento, sem medição.
A auditoria, e o que a torna invulgar
Harry Lyu e Neil Thompson, do MIT, construíram o O*NET-BENCH, uma suite de auditoria montada a partir de um corpus existente de avaliações feitas por trabalhadores — 45.796 classificações de respostas geradas por IA a tarefas de trabalho derivadas do O*NET, recolhidas junto de trabalhadores norte-americanos que selecionaram uma ocupação em que declaravam experiência e confirmaram que a função apresentada correspondia (Mertens et al., 2026). Não foram recolhidos novos dados humanos para a auditoria. A extração congelada tem data de 18 de agosto de 2026; a avaliação correu sobre um conjunto de teste retido de 4.501 classificações, com IDs de tarefa e trabalhadores disjuntos entre as partições.
Sobre esse corpus os autores correram 33 configurações de juiz pré-existentes em seis famílias de modelos — Claude Haiku 4.5 e Opus 4.7, GPT-5.4-mini, GPT-OSS-120B, DeepSeek-V4-Pro, Llama-3.3-70B, Qwen3.5-9B, incluindo checkpoints LoRA — variando exemplos, apresentação pointwise versus listwise, andaimes de rubrica, definições de descodificação, self-consistency e ensembling.
Uma cautela a reter antes dos números: estes 33 braços são condições experimentais relacionadas, não 33 replicações independentes, e os trabalhadores são o estimando, não a verdade objetiva. O artigo mede concordância com avaliadores experientes na ocupação, não correção objetiva.
O teste de ranking que todo avaliador de IA passa
Eis a parte que deve soar familiar. Todas as 33 configurações ordenaram as respostas acima do acaso — todos os intervalos agrupados por tarefa para a exatidão por pares com empates excluíam 0,5. Vinte e cinco configurações ultrapassaram 0,60, com mediana de 0,631 e a configuração quase completa mais forte em 0,658.
Se o seu fornecedor lhe enviou uma apresentação de validação, era isto que lá estava: correlação com avaliadores humanos, concordância por pares, rankings reconstruídos. Com essa evidência, a maior parte destes juízes parece adequada ao propósito.
Dois resultados complicam a apresentação. Primeiro, uma baseline TF–IDF treinada apenas sobre a resposta quase iguala o juiz mais forte — ou seja, o sinal de ordenação é difundido e superficial, e ultrapassar uma fasquia de ranking quase não distingue um avaliador sofisticado de uma regressão bag-of-words. Segundo, a armadilha da cobertura: o Llama-3.3-70B ordena apenas 5,1% dos pares decididos pelos trabalhadores, pelo que uma exatidão condicional de 0,631 colapsa para 0,507 assim que se contam os pares que ele recusa separar. Um juiz pode exibir um número de ranking respeitável abstendo-se em quase tudo.
A taxa de aceitação é o número que realmente sai da empresa
O que o limiar significa de facto
Vale a pena parar no que significava «aceitável» aqui, porque a mesma ambiguidade vive dentro da maioria das fasquias de qualidade internas. O alvo principal era manager_accept numa escala de nove pontos, com o limiar de aceitação fixado em 7 — e 7 define-se como minimamente suficiente sem edições, não bom. Nove é qualidade superior sem edições. Portanto, os 61,1% dos trabalhadores são a parcela de respostas que alguém com experiência naquela ocupação entregaria intacta, no nível mais baixo que ainda conta como entregável. Se a sua própria taxa de aprovação mistura «razoável» e «excelente» sem uma definição escrita a separá-los, tem o mesmo problema uma camada antes, e nenhuma auditoria o encontrará por si.
O número de aceitação é também robusto à ponderação: a parcela dos trabalhadores é 61,1% ponderada por resposta, 61,5% com pesos iguais por tarefa, 61,6% com pesos iguais por ocupação, e o intervalo de 3,0% a 97,9% entre juízes mantém-se essencialmente inalterado. A dispersão é uma propriedade dos juízes, não um artefacto da agregação.
Ninguém apresenta exatidão por pares a um conselho de administração. Apresenta-se uma taxa: esta parcela passou a triagem, esta parcela de tickets atingiu o padrão de qualidade, esta parcela da função é automatizável.
Sobre as mesmas 4.501 respostas, os 33 juízes estimaram parcelas de aceitação de 3,0% a 97,9%, mediana 43,9%, contra os 61,1% dos trabalhadores. Isto não é ruído em torno de um valor verdadeiro — é um intervalo largo o bastante para sustentar qualquer conclusão com que tenha entrado. Os 33 intervalos de viés médio excluíam zero: 29 pontuaram abaixo dos trabalhadores, quatro acima, viés mediano de −1,18 ponto. O Claude Opus 4.7 ficou em −3,23 pontos, equivalente a 1,7 desvios-padrão de trabalhador, pontuando abaixo do trabalhador em 86% das respostas. O controlo TF–IDF, com viés médio de −0,05 e ordenação competitiva, ficou em 43,5% — acertar na média também não recupera a taxa.
E o caso afiado é o bem-comportado. O GPT-OSS-120B pointwise tinha o menor viés médio absoluto da suite, +0,12 [0,01, 0,22]. A sua distribuição de pontuações estava comprimida — rácio de desvios-padrão de 0,83 — concentrando massa mesmo em torno do ponto de corte de aceitação, onde um pequeno erro de localização atira uma grande parcela de itens para o outro lado da linha. Daí 78,4% contra 61,1%.
É a dispersão junto ao limiar, e não o erro médio, que determina a taxa. Dois avaliadores com viés médio idêntico podem reportar taxas a trinta pontos de distância, consoante o quão apertadas estejam as suas pontuações no corte. Nenhuma métrica de ranking deteta isto. Uma verificação de viés médio também não.
A calibração move a média, não a colocação
A correção óbvia é calibrar. Os autores fizeram-no: calibração isotónica validada cruzadamente em cinco dobras e agrupada por tarefa reduziu o viés médio absoluto para no máximo 0,003 em cada configuração quase completa. Erro de localização, resolvido.
O que sobreviveu é o problema. As pontuações calibradas explicavam no máximo 8,5% da variância das classificações individuais dos trabalhadores — melhor R² validado cruzadamente de 0,085, desvio-padrão residual de 1,85 contra 1,94 das classificações dos trabalhadores. Agora a média está certa e as colocações individuais continuam quase tão dispersas como antes. Self-consistency e ensembling também não salvaram: essas configurações mantiveram vieses médios de cerca de −1,3 a −1,5 ponto. A estimação assistida por predição produziu, quando muito, pequenos ganhos de precisão nos orçamentos de rotulagem estudados.
Depois há o resultado que devia acabar com o hábito de afinar prompts contra uma métrica de ranking. Numa linhagem afinada, passar de pontuação pointwise para um protocolo few-shot/listwise agrupado melhorou a ordenação das respostas ao mesmo tempo que reduziu a concordância com as médias dos trabalhadores ao nível da tarefa e da ocupação. A inversão replicou-se numa partição de validação disjunta por tarefas e trabalhadores, sob critérios pré-especificados. Otimizar a métrica que mede degradou a métrica que reporta.
A objeção óbvia: voltar a pôr humanos
Justo — mas os humanos são uma escala com deriva própria. Uma auditoria distinta a 2.611 entrevistas conduzidas por agentes encontrou uma diferença de severidade de 0,79 desvios-padrão entre revisores, com um revisor mais exigente a entrar a meio do percurso a achatar uma tendência de qualidade medida que, na verdade, continuava a melhorar (Liu Zhang & Esposito, 2026). A revisão humana não é um instrumento calibrado que se troque pelo outro; é um segundo instrumento não calibrado.
A leitura honesta é mais estreita e mais útil: nenhuma das escalas se autovalida, e só uma delas é barata o suficiente para ser auditada em contínuo. Pode voltar a correr 4.501 itens retidos contra um juiz todos os trimestres. Não pode voltar a correr os seus revisores.
Um limite de âmbito dito com clareza, porque o artigo o diz: os itens julgados são respostas geradas por IA a tarefas ocupacionais, classificadas quanto à aceitabilidade para um responsável. Isto não é triagem de currículos nem tampouco uma experiência de campo sobre contratação. A afirmação transferível é uma propriedade da pontuação por juízes LLM — a validação por ranking não autoriza uma taxa — e não um efeito medido em resultados de contratação. O que a torna operacionalmente urgente mesmo assim é que os limiares são onde as pontuações se tornam decisões, e os erros de limiar são onde aparece o impacto desproporcionado: uma auditoria a ferramentas comerciais de contratação encontrou 10,62% das combinações posição-modelo a falhar a regra dos quatro quintos da EEOC (Stanford HAI, 2026).
O que um Head of Operations deve fazer neste trimestre
Três movimentos, por ordem de rapidez de retorno.
1. Inventarie cada ponto em que uma pontuação se torna uma taxa. Cortes de shortlist, taxas de aprovação de QA, portas de escalonamento de agentes, qualquer slide com «x% desta função é automatizável». Cada um é um limiar. Cada um foi quase de certeza escolhido com base em evidência de ranking ou num benchmark do fornecedor e, por isso, nunca foi validado para a grandeza que produz.
2. Valide contra o estimando, não contra a ordenação. Pegue em 300–500 itens que as suas próprias pessoas experientes já julgaram, corra o avaliador sobre eles e compare taxas — a parcela que as suas pessoas aceitaram contra a parcela que o avaliador aceita no seu corte atual. Se esses dois números diferirem em mais do que uns poucos pontos, o seu corte está mal definido, por melhor que o avaliador correlacione. Depois verifique a dispersão: se as pontuações se acumulam a menos de meio ponto do limiar, a taxa é instável e uma alteração de prompt vai deslocá-la.
3. Deixe de fazer uma única cifra agregada carregar a decisão. A defesa estrutural contra a cegueira de escala é manter a aritmética separável do julgamento do modelo, de modo que um juiz à deriva mova uma componente visível em vez de empurrar silenciosamente um total para o outro lado de uma linha. O modelo de pontuação da Scovai assenta num orçamento de pesos fixo de 50/50 — metade calculada a partir dos requisitos declarados da função, metade devolvida como quatro subpontuações do modelo etiquetadas em separado, cada uma com a sua razão escrita, com modificadores limitados a ±5 e pontuações abaixo do piso estatístico da respetiva coorte função-senioridade encaminhadas para um revisor humano que o recrutador responsável não pode fechar sozinho. Essa estrutura não torna um juiz calibrado. Torna visível um juiz mal calibrado, e mantém o limiar como uma decisão por que alguém responde, em vez de um artefacto de uma distribuição.
A linha que tem de defender
A instrução final do artigo é a que convém levar para a próxima conversa com um fornecedor: um avaliador de IA deve ser validado contra as taxas de aceitação e os agregados que as suas pontuações vão servir para estimar, não contra os rankings que produz de passagem. Correlação não é calibração, e calibração não é colocação. O Anexo A da auditoria estabelece um padrão de reporte em seis pontos para a validação de juízes — algo razoável para pôr à frente de um fornecedor e ver o que volta.
Portanto, a decisão concreta deste trimestre é pequena e incómoda: escolha o único limiar da sua operação que move mais dinheiro — o corte da shortlist, a fasquia de QA, a porta de escalonamento — e descubra que taxa as suas próprias pessoas teriam produzido sobre os mesmos itens. Se não conseguir responder a isso até ao fim do trimestre, não está a gerir um processo medido. Está a reportar um número que ninguém verificou.