Scovai Scovai
AI & Operations 2026-07-13 1 min read

Agentes de IA não se degradam — eles colapsam: um novo estudo Stroop na PNAS aponta o ponto exato em que as Operações do mid-market devem manter um humano no processo

DSL

Dr. Sarah Liu

Agentes de IA não se degradam — eles colapsam: um novo estudo Stroop na PNAS aponta o ponto exato em que as Operações do mid-market devem manter um humano no processo

Numa instrução curta, o GPT-4o acertava 91% das vezes. Numa versão mais longa da mesma tarefa exata, acertava 1% das vezes. Não 70%. Não 40%. Um por cento — ruído estatístico (PNAS Nexus, 2026).

Esse colapso é o número mais importante que um Head of Operations pode levar para uma decisão sobre IA agêntica em 2026, porque derruba o pressuposto sobre o qual cada implementação é silenciosamente construída: o de que, se um agente de IA lida bem com uma tarefa numa demo, lidará com uma versão ligeiramente mais difícil dessa tarefa apenas um pouco pior. Não é assim. Ele a executará quase perfeitamente até um limiar e, depois, falhará quase por completo. A pergunta para as Operações não é se confiar num agente. É saber exatamente onde fica o precipício — e colocar um controle humano no processo logo à frente dele.

A constatação: um precipício, não uma rampa

O estudo vem de Suketu Patel e Jin Fan, da CUNY, publicado na PNAS Nexus e tornado público em junho de 2026 (PsyPost, 2026). O método é elegante precisamente por ser antigo. Aplicaram a tarefa de Stroop — o teste clássico da psicologia cognitiva em que se deve nomear a cor da tinta de uma palavra enquanto a própria palavra soletra uma cor diferente — a modelos de linguagem de fronteira, aumentando a carga ao alongar a lista de itens em conflito de poucos até quarenta.

Os resultados são contundentes. O GPT-4o acertava os ensaios incongruentes 91% das vezes em listas curtas de cinco itens. Leve a lista a vinte ou quarenta itens em conflito e a sua precisão caía para 1%. O Claude 3.5 Sonnet aguentou mais tempo — mas também acabou caindo, para cerca de 10% em listas de quarenta itens (PNAS Nexus, 2026).

Leia o formato dessa curva, não apenas os extremos. O desempenho não decaiu suavemente à medida que a tarefa ficava mais difícil. Manteve-se em níveis quase humanos e depois despencou de um precipício. Essa é a constatação que deveria reorganizar como as Operações pensam a confiabilidade dos agentes: a zona de perigo é invisível a partir da demo. Um piloto limpo sobre um caso simples não lhe diz nada sobre onde o modelo quebra, porque a quebra é descontínua.

Por que é o controle executivo que falha — não a inteligência

Seria fácil arquivar isto sob "a IA ainda erra" e seguir em frente. Essa leitura perde o mecanismo, e o mecanismo é o cerne da questão.

A tarefa de Stroop não mede conhecimento nem potência de raciocínio. Mede o controle executivo — especificamente a capacidade de manter um objetivo em mente ("nomeie a cor da tinta") e inibir uma resposta concorrente mais forte e automática ("leia a palavra"). Na neurociência cognitiva humana, a atenção decompõe-se em sistemas distintos, e o controle executivo é o que governa a manutenção do objetivo sob conflito. É uma faculdade diferente do mero reconhecimento de padrões.

Eis o que os modelos revelaram sobre si mesmos. As arquiteturas transformer são extraordinárias na resposta prepotente — a resposta rápida, automática, estatisticamente provável, o equivalente de máquina a ler a palavra em vez de nomear a cor. O que lhes falta é uma inibição robusta quando o contexto se alonga ou se enche de sinais em conflito. Os autores enquadram isto como uma capacidade ausente para o controle executivo que uma verdadeira inteligência geral exigiria (PNAS Nexus, 2026).

Para as Operações, traduza assim: um agente de IA não é um funcionário júnior que se cansa e fica desleixado na proporção da carga de trabalho. É um sistema que mantém um objetivo de forma esplêndida até que o número de restrições concorrentes cruze uma linha, ponto em que a manutenção do objetivo não se degrada — evapora. A falha não é "saída pior". É o modelo otimizando silenciosamente para o objetivo errado e mais fácil, enquanto produz texto fluente e confiante que se parece exatamente com sucesso.

Como "longo e contraditório" se parece no seu chão

Vinte palavras em conflito num laboratório é abstrato. Os seus fluxos de trabalho reais são piores.

Pense no que você realmente pede a um agente. Conciliar uma fatura com um contrato que tem três aditamentos, uma cláusula de condições especiais e uma exceção que alguém enviou por e-mail na semana passada. Encaminhar a reclamação de um cliente sob uma política que diz uma coisa, uma instrução permanente de um gerente que diz outra e uma promoção que sobrepõe ambas até sexta-feira. Redigir uma resposta de conformidade que precisa satisfazer o regulador, a postura de risco da equipe jurídica e o relacionamento do account manager — três objetivos que não se alinham por completo.

Cada um desses é uma tarefa de Stroop com o volume no máximo. Contexto longo, múltiplas restrições simultâneas e uma resposta "óbvia" forte que se revela errada assim que se consideram as exceções. São exatamente as condições que, segundo o estudo, empurram o controle executivo para além do precipício. E são também precisamente as tarefas que as Operações do mid-market estão mais ansiosas para automatizar, porque são as tediosas e carregadas de julgamento que devoram as horas de uma equipe.

Essa é a armadilha. As tarefas com maior apelo de automação sobrepõem-se em grande parte às tarefas mais propensas a desencadear um colapso silencioso. O agente fará uma demo impecável na fatura limpa e falhará quase por completo na que tem três aditamentos — e falhará com confiança, que é a parte perigosa.

O custo empresarial de ignorar o precipício

Não é uma preocupação teórica, e o mercado já a está precificando. A Gartner prevê que mais de 40% dos projetos de IA agêntica serão cancelados até o final de 2027, citando custos crescentes, valor de negócio pouco claro e controles de risco inadequados (Gartner, 2025).

A constatação de Stroop lhe diz por que tantos vão falhar. As equipes pilotam um agente sobre uma fatia de trabalho selecionada e de baixo conflito, veem uma precisão no estilo de 91% e a escalam para a realidade de produção bagunçada e de alto conflito — onde o mesmo agente opera além do seu ponto de colapso e produz silenciosamente uma saída de qualidade de 1% nos casos mais difíceis. Os custos que se seguem não são rotulados como "falha da IA". Aparecem como erros de conciliação descobertos três passos adiante, respostas de conformidade que precisam de refação humana completa e a erosão da confiança que acaba engavetando toda a iniciativa. O projeto não morre por um incidente dramático. Morre pelo acúmulo de falhas silenciosas exatamente nos casos que deveriam justificá-lo.

As organizações que mantiverem os seus projetos agênticos fora desses 40% não serão as que têm os melhores modelos. Todos têm acesso aos mesmos modelos de fronteira. Serão as que projetaram para o precipício em vez de fingir que a curva era uma rampa suave.

Onde colocar o controle

O instinto, quando um agente rende abaixo do esperado, é recorrer a prompts melhores. Este estudo diz que o prompting é a alavanca errada. Você não consegue sair, via prompt, de uma ausência estrutural de controle executivo; só consegue deslocar ligeiramente o precipício. A alavanca duradoura é arquitetônica: um controle humano no processo (human-in-the-loop) colocado antes do ponto de colapso, não depois do incidente.

Concretamente, isso significa três movimentos para este trimestre.

1. Mapeie os seus fluxos por carga de conflito, não por tipo de tarefa

Pare de classificar as tarefas candidatas em "simples" e "complexas". Classifique-as por quantas restrições concorrentes carregam e por quão longo é o contexto relevante. Uma tarefa de alto volume com uma regra clara é um alvo de automação seguro. Uma tarefa de menor volume com três políticas sobrepostas e uma pilha de exceções é onde o precipício vive — por mais rotineira que pareça.

2. Fixe o controle antes do limiar, empiricamente

Para qualquer fluxo de agente com restrições em conflito ou contexto longo, insira um ponto de revisão humana obrigatório. Não adivinhe onde o modelo quebra — teste-o como o estudo fez. Alimente o agente com versões progressivamente mais bagunçadas de uma tarefa real e observe a descontinuidade. Coloque o ponto de controle humano do lado próximo dela.

3. Instrumente para a falha silenciosa, não para os erros barulhentos

O colapso não se anuncia; a saída permanece fluente. Portanto, você não pode contar com o agente para sinalizar os seus próprios casos de baixa confiança. Incorpore amostragem e auditoria pontual em qualquer fluxo de alto conflito, e trate "a demo funcionou" como o início da validação, não o fim.

Nada disso exige tecnologia nova. Exige tratar a confiabilidade do agente como uma propriedade do design do fluxo de trabalho, não do modelo — e aceitar que a competência do modelo tem uma borda que você pode encontrar, mas não contornar via prompt.

A decisão para este trimestre

Puxe a lista de processos que a sua equipe planeja entregar a um agente de IA nos próximos dois trimestres. Ao lado de cada um, escreva duas coisas: quantas regras ou exceções em conflito ele carrega e quão longo é o contexto que um agente teria de sustentar. As tarefas que pontuam alto em ambos não são as suas vitórias rápidas. São os seus casos-precipício — e o estudo diz que passarão no piloto e falharão no trabalho real.

Para esses, o movimento não é um agente melhor. É um humano no processo (human-in-the-loop) colocado deliberadamente à frente do ponto de colapso. Os 40% dos projetos agênticos rumo ao cancelamento serão, em sua maioria, os que confundiram uma demo com uma garantia. Um agente que passa no caso limpo e colapsa no bagunçado não é uma ferramenta que você implantou. É uma responsabilidade que você ainda não descobriu. Vá encontrar o precipício antes que ele encontre você.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.