У одного из судей в новом аудите MIT среднее смещение составляло +0,12 балла по девятибалльной шкале — статистически это лучше всех выставленный оценщик во всём наборе. Затем он сообщил, что приемлемы 78,4% работ, тогда как работники той же профессии, оценивавшие те же ответы, назвали 61,1%. Расхождение в 17,3 процентных пункта у оценщика, у которого средней ошибки почти нет (Lyu & Thompson, 2026).
Этот разрыв — не проблема качества модели. Это проблема валидации, и если вы выбирали свой ИИ-оценщик так, как его выбирает большинство операционных команд, он прямо сейчас сидит в вашем стеке неизмеренным.
Аудит и чем он необычен
Гарри Лю и Нил Томпсон из MIT построили O*NET-BENCH — аудиторский набор, собранный из существующего корпуса оценок работников: 45 796 оценок сгенерированных ИИ ответов на рабочие задачи, выведенные из O*NET, собранных у работников в США, каждый из которых выбрал профессию, в которой заявлял опыт, и подтвердил, что предложенная работа ей соответствует (Mertens et al., 2026). Новых человеческих данных для аудита не собирали. Замороженная выгрузка сделана 18 августа 2026 года; оценка проводилась на отложенной тестовой выборке из 4 501 оценки, причём идентификаторы задач и работники не пересекаются между частями.
На этом корпусе авторы прогнали 33 уже существовавшие конфигурации судьи по шести семействам моделей — Claude Haiku 4.5 и Opus 4.7, GPT-5.4-mini, GPT-OSS-120B, DeepSeek-V4-Pro, Llama-3.3-70B, Qwen3.5-9B, включая LoRA-чекпоинты, — варьируя примеры, поточечную и списочную подачу, каркасы рубрик, настройки декодирования, самосогласованность и ансамблирование.
Оговорка, которую стоит держать в уме до чисел: эти 33 ветви — связанные экспериментальные условия, а не 33 независимые репликации, и работники здесь — оцениваемая величина, а не объективная истина. Статья измеряет согласие с опытными оценщиками той же профессии, а не объективную правильность.
Тест на ранжирование, который проходит любой ИИ-оценщик
Вот та часть, которая должна показаться знакомой. Все 33 конфигурации упорядочили ответы лучше случайного — каждый кластеризованный по задачам интервал для парной точности с учётом ничьих исключал 0,5. Двадцать пять конфигураций превысили 0,60 при медиане 0,631, а сильнейшая почти полная конфигурация дала 0,658.
Если поставщик прислал вам презентацию с валидацией, внутри было именно это: корреляция с людьми-оценщиками, парное согласие, восстановленные ранжирования. На таких данных большинство этих судей выглядят пригодными.
Два результата усложняют картину. Во-первых, обученная только на тексте ответа базовая модель TF–IDF почти догоняет сильнейшего судью — то есть сигнал упорядочивания широко распространён и неглубок, и преодоление планки ранжирования почти не отличает изощрённого оценщика от регрессии на мешке слов. Во-вторых, ловушка покрытия: Llama-3.3-70B упорядочивает лишь 5,1% пар, решённых работниками, поэтому условная точность 0,631 обрушивается до 0,507 с учётом ничьих, как только вы учтёте пары, которые модель отказывается разделять. Судья может показать приличное число по ранжированию, воздерживаясь почти везде.
Доля принятых работ — вот число, которое действительно покидает компанию
Что на самом деле означает порог
Стоит задержаться на том, что здесь значило «приемлемо», потому что та же двусмысленность живёт внутри большинства внутренних планок качества. Основной целью был manager_accept по девятибалльной шкале с порогом приёмки на 7 — а 7 определяется как минимально достаточно без правок, а не хорошо. Девять — это превосходное качество без правок. Значит, 61,1% у работников — это доля ответов, которые человек с опытом в этой профессии отправил бы дальше нетронутыми, на самом низком уровне, который ещё считается годным к отправке. Если ваша собственная доля прохождения смешивает «нормально» и «отлично» без письменного определения, разделяющего их, та же проблема у вас слоем раньше, и никакой аудит не найдёт её за вас.
Число приёмки устойчиво и к способу взвешивания: доля работников составляет 61,1% при взвешивании по ответам, 61,5% при равных весах задач, 61,6% при равных весах профессий, а диапазон 3,0%–97,9% между судьями остаётся практически тем же. Разброс — свойство судей, а не артефакт агрегирования.
Никто не докладывает совету директоров парную точность. Докладывают долю: столько-то прошло отбор, столько-то обращений достигло планки качества, столько-то в этой роли автоматизируемо.
На тех же 4 501 ответах 33 судьи оценили долю приемлемых работ в диапазоне от 3,0% до 97,9%, медиана 43,9%, против 61,1% у работников. Это не шум вокруг истинного значения — это диапазон, достаточно широкий, чтобы подтвердить любой вывод, с которым вы пришли. Все 33 интервала среднего смещения исключали ноль: 29 оценивали ниже работников, четыре выше, медианное смещение −1,18 балла. Claude Opus 4.7 дал −3,23 балла, что равно 1,7 стандартного отклонения работников, и ставил ниже работника в 86% ответов. Контроль TF–IDF со средним смещением −0,05 и конкурентоспособным упорядочиванием остановился на 43,5% — то есть попадание в среднее тоже не возвращает долю.
И самый острый случай — самый благополучный. У GPT-OSS-120B в поточечном режиме было наименьшее абсолютное среднее смещение в наборе, +0,12 [0,01, 0,22]. Его распределение баллов оказалось сжатым — отношение стандартных отклонений 0,83 — и сосредоточило массу прямо у порога приёмки, где малая ошибка положения перебрасывает большую долю объектов через линию. Отсюда 78,4% против 61,1%.
Долю определяет разброс у порога, а не средняя ошибка. Два оценщика с одинаковым средним смещением могут сообщить доли, различающиеся на тридцать пунктов, в зависимости от того, насколько плотно их баллы сгрудились у среза. Ни одна метрика ранжирования этого не обнаруживает. Проверка среднего смещения — тоже.
Калибровка двигает среднее, а не расположение
Очевидное решение — откалибровать. Авторы так и сделали: сгруппированная по задачам изотоническая калибровка с пятикратной перекрёстной проверкой снизила абсолютное среднее смещение максимум до 0,003 для каждой почти полной конфигурации. Ошибка положения устранена.
Проблема в том, что уцелело. Откалиброванные баллы объясняли не более 8,5% дисперсии индивидуальных оценок работников — лучший перекрёстно проверенный R² составил 0,085, остаточное стандартное отклонение 1,85 против 1,94 у оценок работников. Среднее теперь верное, а индивидуальные расположения разбросаны почти так же, как прежде. Самосогласованность и ансамблирование тоже не спасли: эти конфигурации сохранили средние смещения примерно от −1,3 до −1,5 балла. Оценивание с опорой на предсказания дало в лучшем случае небольшой выигрыш в точности при изученных бюджетах разметки.
А дальше идёт результат, который должен покончить с привычкой подгонять промпты под метрику ранжирования. В одной дообученной линии переход от поточечной оценки к связанному few-shot/listwise протоколу улучшил упорядочивание ответов и одновременно снизил согласие со средними работников на уровне задач и профессий. Эта инверсия воспроизвелась на валидационной выборке, не пересекающейся по задачам и работникам, по заранее заданным критериям. Оптимизация метрики, которую вы измеряете, ухудшила метрику, о которой вы отчитываетесь.
Очевидное возражение: вернуть людей
Справедливо — но люди тоже шкала, и со своим дрейфом. Отдельный аудит 2 611 проведённых агентами интервью обнаружил разрыв в строгости между проверяющими в 0,79 стандартного отклонения: более строгий проверяющий, подключившийся в середине, сгладил измеренный тренд качества, который на самом деле продолжал расти (Liu Zhang & Esposito, 2026). Человеческая проверка — не откалиброванный прибор, который можно подставить взамен; это второй неоткалиброванный прибор.
Честное прочтение уже и полезнее: ни одна из шкал не валидирует себя сама, и только одна из них достаточно дешева, чтобы проверять её непрерывно. Прогнать 4 501 отложенный объект через судью раз в квартал вы можете. Прогнать заново своих проверяющих — нет.
Границу применимости стоит назвать прямо, потому что её называет сама статья: оцениваемые объекты — это сгенерированные ИИ ответы на профессиональные задачи, оценённые на приемлемость для руководителя. Это не скрининг резюме и не полевой эксперимент по найму. Переносимое утверждение — это свойство оценивания LLM-судьями: валидация по ранжированию не даёт права на долю, — а не измеренный эффект на исходы найма. Операционно срочным это делает то, что пороги — это место, где баллы становятся решениями, а ошибки порогов — место, где появляется непропорциональное воздействие: аудит коммерческих инструментов найма обнаружил, что 10,62% сочетаний «позиция — модель» не проходят правило четырёх пятых EEOC (Stanford HAI, 2026).
Что Head of Operations стоит сделать в этом квартале
Три шага в порядке скорости отдачи.
1. Проведите инвентаризацию всех мест, где балл превращается в долю. Срезы шорт-листа, доли прохождения QA, ворота эскалации для агентов, любой слайд с «x% этой роли автоматизируемо». Каждое из них — порог. Каждый почти наверняка выбран по данным о ранжировании или по бенчмарку поставщика и, следовательно, никогда не валидировался для той величины, которую производит.
2. Валидируйте против оцениваемой величины, а не против упорядочивания. Возьмите 300–500 объектов, которые ваши собственные опытные люди уже оценили, прогоните по ним оценщик и сравните доли — долю, которую приняли ваши люди, против доли, которую оценщик принимает на вашем текущем срезе. Если эти два числа расходятся больше чем на несколько пунктов, ваш срез выставлен неверно независимо от того, насколько хорошо оценщик коррелирует. Затем проверьте разброс: если баллы скапливаются в пределах полубалла от порога, доля неустойчива, и смена промпта её сдвинет.
3. Перестаньте возлагать решение на одно смешанное число. Структурная защита от слепоты к шкале — держать арифметику отделимой от суждения модели, чтобы дрейфующий судья двигал видимый компонент, а не тихо переводил итог через линию. Модель скоринга Scovai построена на фиксированном бюджете весов 50/50: половина считается арифметически из заявленных требований роли, половина возвращается как четыре отдельно помеченных субоценки модели, каждая со своим письменным обоснованием, модификаторы ограничены ±5, а баллы ниже статистического пола для своей когорты «роль — грейд» автоматически уходят к человеку-проверяющему, чью очередь нанимающий рекрутер не может закрыть сам. Эта структура не делает судью откалиброванным. Она делает плохо откалиброванного судью видимым и сохраняет порог как решение, за которое кто-то отвечает, а не как артефакт распределения.
Линия, которую придётся защищать
Заключительное указание статьи — то, что стоит взять в следующий разговор с поставщиком: ИИ-оценщик должен валидироваться против долей приёмки и агрегатов, которые его баллы будут использоваться оценивать, а не против ранжирований, которые он выдаёт попутно. Корреляция — не калибровка, а калибровка — не расположение. Приложение A аудита задаёт стандарт отчётности из шести пунктов для валидации судей — разумная вещь, чтобы положить её перед поставщиком и посмотреть, что вернётся.
Значит, конкретное решение на этот квартал маленькое и неудобное: выберите единственный порог в вашей операции, который двигает больше всего денег — срез шорт-листа, планку прохождения QA, ворота эскалации — и выясните, какую долю на тех же объектах дали бы ваши собственные люди. Если вы не сможете ответить на это до конца квартала, вы управляете не измеренным процессом. Вы отчитываетесь числом, которое никто не проверял.