Scovai Scovai
AI & Operations 2026-11-15 1 min read

Проверить агента в середине задачи быстрее, чем дать ему её закончить

DSL

Dr. Sarah Liu

Проверить агента в середине задачи быстрее, чем дать ему её закончить

Перенесите точку контроля с конца работы агента в её середину — и время выполнения задачи падает на 13,54%. Это главный результат внутрисубъектного исследования с 48 участниками, которые наблюдали за ИИ-агентами и исправляли их ошибки; работа опубликована на конференции CHI 2026 (Zhou et al., CHI 2026). Восемьдесят один процент этих участников предпочли схему с промежуточным подтверждением варианту «подтверждение в конце», который сегодня стоит по умолчанию в большинстве агентных инструментов.

Перечитайте, потому что удивляет именно направление. Больше надзора не стоило пропускной способности. Оно её купило. Проверки агента в середине задачи оказались быстрее, чем дать ему чисто доработать до конца.

Это переворачивает аргумент, который руководители операций повторяют уже два года. Стандартная позиция среднего бизнеса: человек в контуре — расходы на безопасность, оплачиваемые из бюджета скорости; реальные, оправданные, но налог. Исследование утверждает, что посылка неверна по её собственным меркам, и что положение контрольной точки относительно необратимых шагов агента — переменная планирования, которую вы сейчас оставляете незаданной.

Подтверждение в конце — проектное решение, которое приняли не вы

Большинство агентных продуктов выполняет многошаговую задачу автономно и выводит одно-единственное подтверждение в конце. Авторы прямо объясняют хрупкость: во время выполнения у пользователя почти нет контроля, поэтому одна ошибка каскадирует и вынуждает к полному перезапуску. Вы не узнаёте на третьем шаге, что агент неверно прочитал вход. Вы узнаёте на одиннадцатом, когда поверх уже построено ещё восемь шагов.

Очевидная поправка — подтверждать каждый шаг — убирает каскад, но, по формулировке статьи, создаёт утомительные накладные расходы. Поэтому область осела в ложной дихотомии: ставить шлюзы везде и ползти или не ставить вовсе и играть в рулетку. Ни то, ни другое не решение. И то, и другое — настройка по умолчанию.

Вклад статьи в том, чтобы перестать считать это регулятором безопасности и смоделировать как задачу планирования с минимальным временем. Вопрос больше не в том, сколько надзора, — о нём спорит каждая операционная команда на бюджетной встрече. Вопрос в том, где, и его почти никто не задаёт вслух.

Что на самом деле делали 48 участников

Исследование шло в две стадии. Формирующее исследование с восемью участниками выявило устойчивый поведенческий паттерн в том, как люди отслеживают ошибки агента; авторы назвали его Confirmation–Diagnosis–Correction–Redo (CDCR). Заметив проблему, пользователь подтверждает, что что-то не так, диагностирует сбой, исправляет и переделывает затронутую работу. Каждая из четырёх фаз занимает измеримое время, а фаза переделки растёт вместе с числом шагов, выполненных с момента появления ошибки.

Этот паттерн и есть двигатель результата. Поскольку затраты CDCR предсказуемы, их можно оценить заранее для каждого шага. Команда построила теоретико-решающую модель, которая расставляет точки подтверждения по ожидаемому времени взаимодействия с пользователем, решая пошагово, идёт ли агент дальше автономно или запрашивает человеческий надзор.

Затем это проверили: 48 участников, внутрисубъектный дизайн, наблюдение за агентами и исправление ошибок в ходе живого выполнения. Время выполнения снизилось на 13,54% против подтверждения в конце. Предпочтение составило 81% (Zhou et al., CHI 2026).

Две оговорки обязаны сопровождать любое операционное прочтение. Выборка — 48 человек в контролируемом HCI-исследовании, а не продуктивное внедрение на целую функцию: считайте 13,54% ориентиром направления для ваших процессов, а не прогнозом. И обе цифры измерены именно против подтверждения в конце. Статья не утверждает, что промежуточное подтверждение выигрывает по времени у пошагового. Она утверждает, что настройка, нагруженная на конец, проигрывает спланированной.

Возражение: Stanford нашёл, что шлюзы стоят 31 пункт

Есть широко разошедшийся результат, который как будто всему этому противоречит. Stanford Digital Economy Lab изучил 51 продуктивное корпоративное внедрение ИИ и сообщил о медианном разрыве в 31 процентный пункт, сводимом к одному архитектурному выбору: внедрения, где ИИ владел задачей от начала до конца без человеческого шлюза согласования, дали медианный прирост производительности 71%, а те, что требовали согласования каждого значимого действия, застряли на 40% — при одинаковых фронтирных моделях (Stanford Digital Economy Lab, 2026).

Так что же? Шлюзы стоят вам 31 пункт или приносят 13,54%?

И то, и другое, и результаты не сталкиваются. Stanford измерял наличие шлюза — согласование каждого значимого действия против полного его отсутствия. Исследование CHI измеряло размещение шлюза — тот же бюджет надзора, иначе распланированный. Проигрышное условие у Stanford — подтверждение на каждом шаге. Проигрышное условие в CHI — подтверждение в конце. Это два разных режима отказа, и их примирение и есть настоящая операционная инструкция: не ставьте шлюз на каждое значимое действие и не ставьте его только в конце.

Рефлекс среднего бизнеса — прочитать цифру Stanford, снять шлюзы и назвать это делегированием полномочий. Так вы попадаете ровно в то условие, которое статья CHI обошла на 13,54%.

Поздняя проверка — это ещё и слабая проверка

Размещение влияет не только на часы. Оно влияет на то, поймает ли проверка хоть что-нибудь.

Отдельное внутрисубъектное исследование 2026 года провело 36 участников через задачи агентного программирования, где агент выдавал либо корректный результат, либо видимый сбой, либо тихий дефект. По задачам с тихим дефектом общий процент обнаружения составил 39% — но он менялся почти десятикратно в зависимости от задачи, с 8% до 75%, тогда как самооценка уверенности проверяющих оставалась почти плоской: от 3,83 до 4,50 из 5 (Dissanayake et al., 2026). Среди проваленных задач с тихим дефектом и валидной оценкой уверенности 79% получили 4 или 5 из 5 от того самого проверяющего, который дефект пропустил.

Ваши рецензенты не чувствуют разницы между задачей, где они находят три дефекта из четырёх, и задачей, где находят один из двенадцати. Уверенность не следует за точностью. А значит, единственное согласование в конце прогона — не просто поздняя проверка: это неизмеренная проверка, и у того, кто её подписывает, нет внутреннего сигнала о том, с каким типом задачи он имеет дело.

Размещение контрольных точек даёт то, чего не даёт уверенность: дефект, пойманный на третьем шаге, относится к третьему шагу. Дефект, пойманный в конце, относится ко всему прогону.

Стоимость перезапуска — переменная, которую вы не оценили

Если размещение — рычаг, то задающий его вход — стоимость перезапуска на шаг: сколько уже выполненной работы придётся переделать из-за поздно пойманной ошибки в этой точке.

Два числа помогают откалибровать, где эта стоимость концентрируется. Agent Delegability Index, оценивающий все 18 796 формулировок задач O*NET и взвешивающий их по занятости в 146 странах, показал, что 35,2% мирового рабочего времени по задачам хотя бы частично делегируемо агентам, но лишь 2,5% можно передать целиком, и это сосредоточено в нескольких канцелярских группах. Его самый полезный операционно результат: полная передача достигает пика на задачах, занимающих у человека около двенадцати минут (Espinal Maya & Jiménez Londoño, 2026). Короткие задачи дёшево переделать; длинные многошаговые прогоны — вот где накапливается стоимость перезапуска, и именно их ваш инструмент подтверждает только в конце.

Эти расходы уже в ваших книгах, просто не под той строкой, которую вы узнаёте. В опросе 2 500 работников умственного труда в пяти странах 42% сообщили, что тратят на проверку результатов ИИ больше времени, чем экономят от его использования, а 52% регулярно исправляют сгенерированную ИИ работу коллег (Adaptavist, 2026). Это переделка, оседающая ниже по потоку от генерации, — цикл CDCR, работающий незапланированно и неучтённо, на чужих часах.

Планирование подтверждений — это способ вынести эту стоимость туда, где она дешевле и заметнее.

Что делать с проверками агента в середине задачи в этом квартале

Это не закупка инструментов. Это упражнение по картированию, и оно укладывается в квартал.

  1. Возьмите три самых нагруженных агентных процесса и выпишите их шаги по порядку. Для каждого шага зафиксируйте одно число: сколько минут уже выполненной работы человеку пришлось бы переделать, если бы ошибку, внесённую на этом шаге, поймали только в конце прогона.
  2. Отметьте каждый необратимый шаг — всё, что отправляет, платит, публикует, пишет в систему учёта или затрагивает третью сторону. Стоимость перезапуска на необратимом шаге измеряется не минутами; это процедура восстановления. Это ваши обязательные контрольные точки независимо от того, что говорит временная модель.
  3. Ставьте контрольные точки непосредственно перед шагами, на которых накопленная стоимость перезапуска совершает скачок, а не через равные интервалы и не в конце. Проверка с равным шагом — ровно то условие утомительных накладных расходов, которое исследование уже отвергло.
  4. Измеряйте саму проверку, а не только прогон. Логируйте процент обнаружения по каждой контрольной точке и типу задачи. Поскольку уверенность рецензентов остаётся плоской, пока процент обнаружения скачет с 8% до 75%, о слабой контрольной точке вам никто не сообщит — её надо измерить.
  5. Перерисовывайте карту при расширении автономии. Выдача агенту нового типа действий меняет профиль перезапуска всех последующих шагов.

Архитектура управления определяет, сколько из этого вы вообще можете настроить. Digital Employees от Scovai по умолчанию работают по принципу подтверждения до действия: каждое внешне видимое действие становится запросом на согласование с именем конкретного человека, запрос без ответа истекает, а не проходит молча, а автономия зарабатывается по типам действий на основе фиксируемого журнала согласований, а не выдаётся оптом на рабочее место (Scovai Digital Employees). Это отвечает на вопрос о наличии. Результат CHI говорит, что вопрос о размещении его переживает: когда вы знаете, какие типы действий цифровой сотрудник может выполнять без надзора, остаётся решить, где внутри многошагового прогона лягут оставшиеся проверки.

Решение, которое перед вами

Большинство операционных команд ведёт бюджетный спор: сколько часов рецензирования мы можем позволить себе на надзор за агентами и оправданы ли вообще проверки агента в середине задачи. Исследование говорит, что спор ведётся не по той оси. Ваша стоимость надзора за агентами уже задана; не задано то, где она ложится, — а размещение стоит 13,54% времени выполнения ещё до любых изменений в штате, модели или поставщике.

Поэтому конкретное решение на этот квартал достаточно узкое, чтобы принять его во вторник: возьмите самый нагруженный агентный процесс, найдите в нём первый необратимый шаг и проверьте, подтверждает ли что-нибудь до этого шага. Если ничего — вы работаете не по экономной модели надзора. Вы работаете по дорогой, со счётом, отложенным до перезапуска.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.