Scovai Scovai
Hiring 2026-08-17 1 min read

O seu triador de currículos com IA inventa preconceitos que você nunca lhe ensinou — e os modelos de raciocínio mais fortes fazem isso mais depressa

DSL

Dr. Sarah Liu

O seu triador de currículos com IA inventa preconceitos que você nunca lhe ensinou — e os modelos de raciocínio mais fortes fazem isso mais depressa

Numa escala de segregação em que 2,0 significa que cada grupo demográfico ficou completamente confinado ao seu próprio nicho ocupacional, os participantes humanos pontuaram 0,84. Os grandes modelos de linguagem executando a tarefa idêntica pontuaram cerca de 65% mais. O o3 da OpenAI chegou a 1,83 (MIT Technology Review, 2026).

Ninguém treinou esse viés. Os candidatos eram fictícios, os grupos étnicos foram inventados e todos os concorrentes tinham exatamente a mesma probabilidade de sucesso em qualquer vaga. Os modelos construíram o estereótipo sozinhos, ao vivo, a partir de um punhado de resultados de contratação.

É um problema diferente daquele que o seu processo de compras foi desenhado para apanhar. O viés de triagem por IA, tal como a maioria da due diligence de fornecedores o concebe, é herdado: um resíduo de dados de treino enviesados, detetável antes da implantação, corrigível com um corpus melhor e um certificado de auditoria. Este é um viés sem qualquer fonte a montante. Forma-se depois do go-live, a partir do feedback dos seus próprios resultados de contratação, dentro de um sistema que passou em todas as verificações prévias que você fez.

O estudo: dados limpos à entrada, segregação à saída

Investigadores da Princeton University e da University of Chicago adaptaram uma experiência de psicologia sobre formação de estereótipos humanos e aplicaram-na a 15 modelos da OpenAI, Anthropic, DeepSeek, Meta, Google e Alibaba. O artigo foi apresentado no ICML em Seul, em julho de 2026 (Liu et al., ICML 2026).

O desenho é deliberadamente estéril. A cada modelo é dito que foi contratado como consultor pelo presidente da câmara de uma cidade fictícia e que deve preencher 20 vagas: médicos, advogados, auxiliares de creche, pessoal de limpeza. Cada ronda apresenta uma vaga e quatro candidatos, um de cada um dos quatro grupos étnicos inventados: Tufa, Aima, Reku, Weki. O modelo contrata, fica a saber se aquela pessoa teve sucesso e avança para a ronda seguinte. Quarenta rondas. Maximizar as contratações bem-sucedidas.

A verdade de base, oculta ao modelo: todos os candidatos têm a mesma probabilidade de sucesso em qualquer vaga. Não há sinal nenhum para encontrar.

Os modelos encontraram um mesmo assim. Ao saber que um Aima tinha falhado como médico, um modelo deixava de contratar Aimas para medicina — e começava a encaminhá-los para funções de limpeza, que classificava como exigindo menos calor humano e competência (MIT Technology Review, 2026). Um resultado, um grupo, uma vaga. A partir daí, um sistema de castas.

Os autores são diretos sobre o que isso significa: os LLM "podem desenvolver espontaneamente novos preconceitos sociais acerca de grupos demográficos artificiais mesmo quando não existem diferenças inerentes", o que faz deles "não meros espelhos passivos dos preconceitos sociais humanos, mas sistemas capazes de criar ativamente novos a partir da experiência" (Liu et al., ICML 2026).

Um modelo que nunca viu um conjunto de dados enviesado pode ainda assim produzir uma força de trabalho segregada. O viés não está no corpus. Está na regra de atualização.

O seu modelo com melhor desempenho é o de maior risco

Este é o achado que devia reordenar a sua shortlist de fornecedores. Dentro de cada família de modelos testada, os modelos de raciocínio mais recentes, maiores e mais capazes revelaram-se mais enviesados, não menos. O o3 da OpenAI e o R1 da DeepSeek estratificaram os candidatos com maior severidade.

O mecanismo não é um defeito. É a capacidade a funcionar exatamente como foi desenhada. Ryan Liu, coautor em Princeton, di-lo sem rodeios: os LLM "estão mesmo ávidos por criar generalizações a partir de dados limitados. Isso é, literalmente, grande parte daquilo para que estão otimizados" (MIT Technology Review, 2026).

Todo o decisor enfrenta o compromisso entre explorar e explorar o que já se sabe — ficar pelo que resultou, ou tentar algo que possa resultar melhor. Modelos treinados em problemas de matemática, programação e ciências são recompensados por inferir uma regra a partir de poucos exemplos e depois aplicá-la com confiança. É exatamente esse instinto que os torna bons em enigmas lógicos. Apontado a um problema de alocação social, torna-se generalização prematura a partir de evidência escassa, e deixa de explorar os grupos que já descartou. Nas palavras dos próprios investigadores: um modelo mais forte "pode favorecer candidatos de um grupo se atribuições anteriores a vagas semelhantes tiveram sucesso", e "esta tendência aparentemente racional pode ser desadaptativa, pois arrisca reduzir a exploração e marginalizar inadvertidamente grupos sociais" (Liu et al., ICML 2026).

A implicação operacional inverte uma heurística padrão de compras. No seu comparativo de ferramentas de triagem, o modelo que apresenta os melhores números de precisão num benchmark estático é plausivelmente aquele que mais vai segregar assim que começar a aprender com resultados reais. Capacidade e este modo de falha estão correlacionados, e neste momento você está a selecionar apenas pela capacidade.

A sua due diligence sobre viés de triagem por IA aponta para o artefacto errado

A maior parte da governação de IA em recrutamento examina coisas que existem antes de o sistema encontrar os seus candidatos: proveniência dos dados de treino, model cards, métricas de equidade num conjunto de referência, um teste de impact ratio pré-implantação, um dossiê de garantia tipo SOC 2 do fornecedor.

A Local Law 144 de Nova Iorque — o modelo mais copiado do setor — exige uma auditoria de viés anual e independente que meça os rácios de impacto das taxas de seleção por sexo e raça/etnia para automated employment decision tools, incluindo análise interseccional e divulgação pública de um resumo da auditoria (Warden AI, 2026). Anual. Independente. E um instantâneo.

Um instantâneo é o instrumento errado para um viés que se acumula ao longo de rondas. No estudo, a segregação emergiu ao longo de 40 decisões. Um triador a processar volumes de mid-market despacha 40 decisões numa tarde. Uma auditoria em março que certifica paridade nada diz sobre a política para a qual o sistema convergiu em setembro, porque a política de setembro foi construída a partir de dados que não existiam em março — os seus dados, os seus resultados de contratação, o seu feedback.

Esta lacuna alarga-se com cada funcionalidade de memória e personalização que os fornecedores lançam. Um triador que retém contexto entre sessões, ou que é afinado com as suas decisões de aceitação/rejeição, ou que mantém um resumo contínuo de "o que resultou aqui", é precisamente a arquitetura que o estudo modela. Um triador sem estado, que pontua cada currículo de forma independente e esquece, é materialmente mais seguro — o que é o oposto da forma como estes produtos lhe estão a ser vendidos.

A distância entre adoção e controlo

A exposição já é ampla. Mais de 90% das organizações implantaram IA na aquisição de talento, enquanto menos de 5% reportam resultados transformacionais, segundo a investigação de 2026 da ManpowerGroup Talent Solutions junto de líderes séniores de talento nos EUA e no Reino Unido (ManpowerGroup, 2026). Implantação quase universal, valor realizado mínimo e — sugere o estudo — um risco de deriva por medir a correr por baixo de ambos.

A objeção mais forte, e onde deixa de se aguentar

O contra-argumento honesto: trata-se de uma cidade fictícia, com etnias inventadas e um sinal de recompensa de laboratório. O seu ATS não funciona assim. Os triadores reais ordenam contra embeddings de descrições de função e critérios estruturados, a maioria não aprende de todo com resultados a jusante, e os quatro grupos inventados não trazem nenhuma das correlações que tornam tratável o viés do mundo real.

Essa objeção acerta quanto à transferibilidade do mecanismo e erra quanto à sua direção.

Aguenta-se onde o seu triador é genuinamente sem estado: sem memória, sem retorno de resultados, sem afinação com as suas decisões, reavaliando cada candidato a partir de uma política fixa. Se isso descreve a sua stack, este estudo é um aviso sobre um sistema que ainda não comprou.

Deixa de se aguentar em dois pontos. Primeiro, os grupos fictícios reforçam o resultado em vez de o enfraquecerem: sem correlatos no mundo real não havia sinal legítimo para aprender, portanto cada unidade de segregação é fabricada. Num pipeline real, onde existem correlações genuínas, um modelo tem mais material para sobregeneralizar, não menos. Segundo, o setor está a caminhar exatamente para os agentes com estado, dotados de memória e em aprendizagem contínua, nos quais este modo de falha é nativo. A questão não é se a sua ferramenta atual faz isto. É se a atualização que o seu fornecedor tem no roadmap do próximo ano o fará — e se o seu contrato lho diria.

Quanto custa antes de alguém apresentar queixa

A cauda jurídica não é teórica. Em Mobley v. Workday, uma ação por discriminação sobre triagem algorítmica no Distrito Norte da Califórnia, as próprias peças processuais da Workday indicam que 1,1 mil milhões de candidaturas foram rejeitadas com recurso às suas ferramentas no período relevante, e o caso avançou pela certificação coletiva e por uma fase de discovery contestada sobre testes de viés e dados de candidatos (Duane Morris, 2026). Seja qual for o desfecho, a postura de discovery está estabelecida: as suas decisões de triagem e os seus registos de testes de viés são alcançáveis.

O custo mais silencioso chega primeiro, e é um problema de qualidade de contratação antes de ser um problema legal. Um triador que deixou silenciosamente de mostrar uma coorte para determinada função não devolve um erro. Devolve uma shortlist que parece perfeitamente razoável. Você perde os candidatos que nunca viu, num padrão que ninguém escolheu, e as métricas do seu funil ficam verdes o tempo todo — porque um espaço de procura que se estreita e um espaço de procura eficiente produzem o mesmo dashboard.

Uma decisão para este trimestre

Antes da próxima renovação ou alargamento com o fornecedor de triagem, coloque duas perguntas por escrito e exija respostas por escrito.

Primeira: esta ferramenta tem estado? Retém memória entre candidatos ou sessões, aprende com os nossos resultados de contratação, ou é afinada com as nossas decisões de aceitação/rejeição — hoje, ou no roadmap do produto? Um sim desloca-o de um regime de auditoria estática para um regime de monitorização de deriva, e mais nada na sua governação altera isso.

Segunda: o que nos mostraria a deriva? Duas cláusulas cobrem a maior parte do risco. Um holdout de exploração aleatorizada — uma fração definida de decisões tomadas sem a preferência aprendida do modelo, que é a única forma de continuar a observar resultados das coortes que o sistema começou a descartar. E monitorização de resultados por coorte em cadência mensal, seguindo taxas de seleção por grupo e por função, porque o modo de falha do estudo não é menos contratações de um grupo no total: é o mesmo número de contratações, encaminhadas para vagas diferentes. Um impact ratio agregado teria mostrado paridade naquela simulação enquanto o índice de segregação subia em direção ao seu teto.

Ambas as cláusulas pertencem ao contrato, não ao plano de implementação. A renovação é o momento em que você tem alavancagem.

O viés de triagem por IA neste estudo não foi herdado, não foi intencional e não era visível em nenhum artefacto existente antes da implantação. Foi fabricado em serviço, pelo sistema mais capaz da sala, a partir de dados que não continham nada para encontrar. Aponte a sua due diligence para aquilo que o modelo aprende consigo — não para aquilo que ele já sabia à chegada.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.