Scovai Scovai
AI & Operations 2026-11-12 1 min read

В мае пришёл более строгий проверяющий, и тренд качества вашего агента стал плоским — а агент всё это время улучшался

DSL

Dr. Sarah Liu

В мае пришёл более строгий проверяющий, и тренд качества вашего агента стал плоским — а агент всё это время улучшался

Два проверяющих оценили одни и те же партии одного и того же работающего в продакшене ИИ-агента и разошлись на 0,79 стандартного отклонения по композитному индексу качества. Наибольшее движение качества, которое за те же шесть месяцев дал один зафиксированный деплой, составило 0,20 стандартного отклонения (Zhang & Esposito, 2026). Шум в этой оценке ИИ-агента был примерно в четыре раза больше сигнала, который она должна была улавливать. Когда в мае в ротацию вошёл более строгий проверяющий, сырой тренд качества компании стал плоским — а агент всё это время улучшался.

Это история не о небрежных проверяющих. Это история о том, что происходит, когда вы ведёте поток оценок, ни разу не проверив, сопоставимы ли эти оценки друг с другом.

Исследование: 2 611 оценённых интервью, 14 партий, один агент в продакшене

Liu Zhang и Mark Esposito изучили одну компанию, использующую голосово-видеового ИИ-агента, который проводит живые собеседования. С марта по август 2026 года внутренний конвейер оценки компании оценил 2 611 продакшен-записей в 14 партиях по рубрике из девяти семейств критериев, причём проверяющие-люди намеренно перекрывались внутри каждой партии. Это перекрытие и есть весь метод: только оно позволяет отделить насколько строг проверяющий от того, насколько в действительности стал лучше агент (Zhang & Esposito, 2026).

Дизайн важен, потому что он воспроизводит то, что операционные команды среднего бизнеса уже делают. Два-три человека оценивают вывод агента по рубрике, оценки попадают на дашборд, и кто-то читает кривую. Разница лишь в том, что большинство команд не перекрывают своих проверяющих — и потому не могут отличить один эффект от другого.

Вот что показало перекрытие.

Проверяющий B — тренер, пришедший в мае — оценил те же партии на 0,79 стандартного отклонения (SE 0,05) ниже, чем проверяющий A. По девяти партиям, которые оценили оба, разрыв был отрицательным в каждой без исключения партии, в диапазоне от −0,90 до −0,53 SD, с объединённым по обратной дисперсии разрывом −0,77 (SE 0,03). Тест на гетерогенность отвергает точную постоянность (Q = 19,0, p = 0,01), так что смещение — приближение, а не чистая константа, но направление не перевернулось ни разу.

Уберите эффект проверяющего — и картина переворачивается. Латентный индекс качества вырос на 0,53 стандартного отклонения, с 0,05 SD на 29 марта до 0,58 SD на 10 августа. Улучшение было реальным. Плоская линия была артефактом того, кто держал ручку. Латентная частота критических сбоев рассказывает ту же историю в другой форме: 2,8 % в марте, пик 6,3 % около 9 мая, затем устойчивое снижение до 2,5 % к 10 августа (Zhang & Esposito, 2026).

Разрыв между проверяющими был больше всего, что сделал агент

Поставьте три компоненты дисперсии рядом — порядок и есть результат:

  • Смещение проверяющего: 0,79 SD
  • Шум от интервью к интервью: 0,89 SD (на уровне случая)
  • Реальное движение между партиями: 0,20 SD

Все три — из одного набора данных (Zhang & Esposito, 2026). Подлинное движение качества агента — наименьший член системы. Кадровое изменение на стороне проверки само по себе оказалось достаточно крупным, чтобы стереть полгода реального улучшения из сырого тренда. Команда, смотревшая на этот дашборд в июне, заключила бы, что агент вышел на плато — и вполне обоснованно могла бы откатить работающий деплой.

Вот на чём стоит остановиться. Большинство споров об управлении агентами — о том, сколько надзора закупить. Этот результат говорит, что первый вопрос другой: даёт ли уже закупленный надзор числа, сопоставимые друг с другом во времени. Если нет, то его увеличение добавляет объём, а не информацию.

Строже по рубрике, мягче по стоп-критерию

Разворот внутри данных — та деталь, которая должна встревожить любого, кто ведёт QA агента. Тот же проверяющий B, который оценивал на 0,79 SD жёстче по композитному индексу, отмечал критические сбои в 2,0 % против 5,0 % у проверяющего A — разница внутри партии в −2,2 процентных пункта в противоположную сторону (Zhang & Esposito, 2026).

Строгость — не одна ручка настройки. Проверяющий может быть жёстким по оцениваемым пунктам и мягким по бинарному признаку, который реально останавливает деплой. Значит, калибровка проверяющих по рубричной оценке ничего не говорит о том, согласны ли они в том, что считать неприемлемым. Это две отдельные задачи калибровки, и почти ни один процесс QA не трактует их так.

У вашей оценки есть срок годности, и честный ответ — «от одной до двадцати одной недели»

Вторая половина работы ставит часы на доказательства. При оценке скорости неучтённого движения между зафиксированными деплоями прогнозная неопределённость индекса достигает 0,18 SD через четыре недели, 0,25 через восемь и 0,30 через двенадцать. Она достигает размера наибольшего наблюдённого контраста деплоя — того изменения на 0,20 SD от 12 апреля — примерно через пять недель по точечной оценке и через шесть по объединённой.

И затем авторы делают то, что делает эту работу применимой: приводят интервал. По 95-процентному диапазону скорости дрейфа этот горизонт лежит между 1 и 21 неделей. Четырнадцать партий идентифицируют дисперсию слабо, и оценка определяется небольшим числом ступенчатых изменений.

Не цитируйте пять недель без интервала. Ширина и есть результат. Она говорит, что никто — включая авторов — сейчас не знает, как быстро устаревает оценка агента, и что квартальная приёмка — ставка на оптимистичный конец диапазона, нижняя граница которого равна одной неделе.

Один независимый сигнал двигался в ту же сторону, что и скорректированный индекс: обращения в поддержку по интервью падали примерно на 10 % в месяц относительно обращений по техническим проблемам. Это подтверждение со стороны исхода, который конвейер оценки не контролирует, и оно стоит больше ещё одной рубрики.

Контраргумент, сформулированный честно

Это одно развёртывание. Одна компания, один агент, четырнадцать партий, предварительная рабочая статья без рецензирования. Авторы говорят прямо: «Эти данные не идентифицируют причинного эффекта оценки на результативность.» Ничто здесь не показывает, что программа оценки сделала агента лучше.

Значит, вывод уже заголовка — и устойчивее одного кейса. Утверждение не «оценка улучшает агентов». Утверждение в том, что поток оценок с неконтролируемой строгостью проверяющих способен перевернуть знак реального тренда — и это свойство измерения, а не свойство этой компании.

Рефлекторный ответ — добавить проверяющих. Теория и здесь призывает к осторожности: усиленный аудит сдерживает часть нарушений, но повышает сокрытие у агентов, которые всё равно нарушают, так что доля выявленных случаев может падать по мере роста объёма аудита (Gans & Holden, NBER, 2026). Дизайн надзора важнее объёма надзора в обеих литературах. Где сидит человек — переменная пропускной способности не меньше, чем безопасности: запланированные промежуточные точки подтверждения сократили время выполнения задачи на 13,54 % против подтверждения только в конце, и 81 % участников предпочли их (Zhou et al., CHI 2026).

И это не переходная проблема, которую можно пересидеть. В опросе 300 технологических руководителей и практиков, ранжировавших 101 агентную задачу, 59 % уже планируют постоянный человеческий надзор, а заявленные опасения — подотчётность (48 %) и галлюцинации (47 %) (MIT Technology Review Insights, 2026). Если слой человеческой проверки постоянен, то производимый им поток оценок — постоянная инфраструктура, и никто с ним так не обращается.

Что исправить в оценке ИИ-агента до следующего деплоя

Четыре изменения в порядке стоимости. Первые два почти бесплатны и следуют прямо из метода статьи.

1. Перекрывайте проверяющих внутри каждой партии. Пусть минимум два человека оценят общее подмножество одних и тех же пунктов в один период. Именно эта привычка делает строгость отделимой от реального движения; без неё любая линия тренда смешивает одно с другим. Стоит двойной оценки на выборке, а не второй штатной единицы.

2. Калибруйте флаг критического сбоя отдельно от рубричной оценки. Здесь они расходились на 2,2 процентных пункта в противоположную сторону. Согласие по композитному числу — не согласие о том, что останавливает релиз.

3. Переоценивайте по деплоям, а не по календарю. Актуальность доказательств убывает со скоростью, которую вы не измеряли. Привяжите оценку к журналу изменений — каждый зафиксированный деплой получает свежее чтение — а не к квартальной дате, которая может быть уже на четыре недели за полезным горизонтом.

4. Подтверждайте одним операционным исходом, который оценка не контролирует. Обращения, эскалации, доля переделок, время обработки. Если рубрика двигается, а исход нет — верьте исходу.

Почему это не абстрактная забота об измерении: в любой модели управления, где агент зарабатывает автономию своей же историей, поток оценок — это поверхность управления. Если автономия расширяется по типу действия на основе расчётного реестра чистых согласований, или позиция закрывается периодической скоркартой руководителя, то дрейф проверяющих не просто вводит в заблуждение дашборд — он решает, сколько свободы получит цифровой работник и останется ли человек в контуре. Там, где эта цепочка прописана явно — подтверждение по умолчанию, автономия выдаётся по типу действия, над каждой позицией — поимённо назначенный руководитель, как в модели Digital Employee от Scovai — зависимость хотя бы видна. Там, где нет, сопоставимость базовых оценок тихо перестала быть вопросом аналитики и стала вопросом ответственности.

Решение на этот квартал

Вам не нужен новый инструмент, новый поставщик или больший бюджет на проверку. Вам нужно знать, были ли последние четыре оценки в вашей оценке ИИ-агента получены по одному и тому же стандарту — и прямо сейчас вы почти наверняка не можете этого сказать. Не потому что процесс плох, а потому что ничто в нём никогда не проектировалось для ответа на этот вопрос.

Выберите минимальную версию, которая на него отвечает. В этом квартале пусть второй проверяющий независимо и вслепую оценит 10 % пунктов, уже оценённых основным проверяющим, в той же партии. Сравните два распределения, затем сравните этот разрыв с движением, о котором вы отчитываетесь наверх. Если разрыв приближается к размеру сигнала, тренд качества вашего агента измерял ваш график смен.

Цена — несколько часов двойной оценки. Альтернатива — и дальше принимать решения об автономии, откатах и численности на основе числа, единицы измерения которого меняются, когда кто-то уходит в отпуск.

Измерьте проверяющего, прежде чем доверять проверке.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.