На 30 384 оценках резюме прошедший рецензирование аудит предвзятости поставил эффект пола на d=−0,00 (p=0,97), а контраст «чернокожие — белые» на d=+0,03 (p=0,29). Не «незначимо» — формально эквивалентно нулю, причём нулевая гипотеза по полу удерживается до границы |d|=0,035 (Pavlopoulos, Analytics, 2026). Затем то же исследование заменило оценочную рубрику небрежной инструкцией «на глаз», удержало опыт кандидатов строго постоянным — и предпочтение d=0,41 в пользу более старых выпускных когорт вернулось.
Модель была чистой. Промпт — нет. А ваш аудит предвзятости тестировал модель.
Этот разрыв и есть вся операционная суть: документ, который вручает вам поставщик, сертифицирует объект, не являющийся тем, что принимает ваши решения по отбору. Решение принимает модель плюс инструкция плюс контекстное окно, и аудиту подвергается только одно из трёх.
Аудит был построен так, чтобы сломать собственный нуль
Большинство исследований справедливости LLM тестируют одно условие и выносят вердикт. Это рассматривает устойчивость как предмет изучения — поэтому его нулевой результат стоит читать, а не подшивать.
Три instruction-tuned модели оценивались через их API: Gemini 2.5 Flash, Gemini 2.5 Flash-Lite и открытая по весам Llama 3.1 8B Instruct — намеренный охват хостируемых коммерческих уровней и пути самостоятельного развёртывания. Оценка была привязана к эталону, а не абсолютной, потому что абсолютная шкала 0–100 обнуляла дисперсию, необходимую для обнаружения чего-либо: в пилотных прогонах почти каждое резюме получало около 95. Вместо этого каждый кандидат оценивался против фиксированного нейтрального эталона для той же профессии, что вернуло разброс в 12–18 пунктов. Сэмплирование шло при температуре 0,7 с повторными оценками по каждой ячейке, поэтому эффекты измерялись против реальной внутриячеечной изменчивости, а не против одного детерминированного вывода.
Три решения дизайна делают результат трудно отбрасываемым.
Положительный контроль, который сработал. Все три модели разделили кандидатов среднего уровня и джуниоров при d=3,40, 3,21 и 1,93. Инструмент доказуемо читает качество, поэтому демографический нуль нельзя списать на мёртвую меру. Эффекты стажа превысили демографические примерно на два порядка.
Тесты эквивалентности, а не отсутствие значимости. Каждый ключевой контраст отверг нулевую гипотезу TOST на границе |d|=0,2 при p<0,001, с достигнутыми границами 0,035 для пола, 0,056 для «азиаты — белые» и 0,080 и 0,085 для «чернокожие — белые» и «латиноамериканцы — белые». Контроль стажа дал TOST p=1,000, подтверждая, что процедура не сертифицирует действительно крупные эффекты.
Намеренная провокация. Исследование 3 ослабило кандидатов, ослабило промпт и добавило в начало текст о культурном соответствии — о сплочённой, энергичной команде. Манипуляция сработала: пограничные резюме получили в среднем 32,5 против 67,6 у целых, падение на 35 пунктов. Это ровно тот режим, в котором, по теории, принимающий решение наиболее склонен подменить оценку эвристикой. И там эффекты расы и пола тоже остались пренебрежимыми.
Обнаружился один небольшой реальный эффект: кандидаты из неэлитных учебных заведений получали чуть ниже, d=−0,05 (p=0,026), оставлено пограничным контролем ложных открытий при q=0,052. Стоит отметить, но не строить политику.
Вернулся ярлык, а не предубеждение
Заголовочным результатом основного дизайна был видимый эффект возраста d=0,28. Автор сделал то, что большинство статей пропускает, и повторил прогон, убрав смешение — потому что резюме более старших выпускников несли ещё и дополнительный опыт, смешивая возраст со стажем.
При структурированной рубрике, с идентичным опытом, эффект обрушился до d=0,02 (p=0,90). При небрежной инструкции он выжил на d=0,41 (p=0,03).
Прочтите эту пару медленно. Рубрика заставила модель опереться на заявленные квалификации, идентичные на всех возрастных уровнях, так что эвристике негде было действовать. Небрежная инструкция пригласила к целостному впечатлению, и длина карьеры заняла место качества. Та же модель, те же резюме, те же кандидаты — противоположное поведение, определённое формулировкой запроса. Примечательно, что небрежный промпт не оживил эффекты расы или пола: это был ярлык про стаж, а не общее ослабление сдержанности.
Открытая по весам модель несла свой, более тихий рисунок. Наибольшие сдвиги Llama давали явные признаки принадлежности к меньшинству: иностранные дипломы из Глобального Юга при d=−0,16, мусульманская религиозная принадлежность при d=−0,13, раскрытая инвалидность при d=−0,12. Ни один не выжил после коррекции ложных открытий, поэтому они указывающие, а не подтверждённые. Их последовательно отрицательное направление и концентрация в самой маленькой, самостоятельно развёрнутой модели всё равно относятся к тому, что хочется знать до стандартизации на ней.
Второе исследование нашло разрывы в 12 %. Оба результата могут быть верны.
Если бы это исследование было единственным свидетельством, вывод был бы удобным. Он не единственный.
Аудит, ориентированный на интерпретируемость, протестировал ведущие коммерческие и открытые модели — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — и обнаружил, что добавление реалистичного контекста порождало значимую расовую и гендерную предвзятость, до 12 процентных пунктов разницы в частоте приглашений на интервью (Karvonen and Marks, 2025). Контекст был будничным: названия компаний, описания культуры, взятые с публичных карьерных страниц, и селективные ограничения найма вроде приёма только 10 % лучших кандидатов. Ещё два вывода должны резко остановить разговор о комплаенсе. Простые антипредвзятые инструкции в промпте, устраняющие предвзятость в контролируемых оценках, перестали работать при наличии такого реалистичного контекста. А модели выводили демографию из тонких сигналов вроде университетской принадлежности, и возникающая предвзятость оставалась невидимой даже при осмотре цепочки рассуждений.
Итак, один аккуратный аудит находит защищённый нуль под провокацией, а другой — двузначные разрывы в частоте интервью при реалистичном для развёртывания обрамлении. Примирение не в том, что один из них ошибается. А в том, что оба локализовали дисперсию в одном месте — в окружающей инструкции, а не в демографических априорных предпочтениях модели. Обрамление одного исследования подавило ярлык, обрамление другого его допустило. Ни один результат не переносится на ваш конвейер, потому что у вашего конвейера свой промпт.
Это и есть неудобная часть. Чистый результат аудита не переносим на другую инструкцию.
Человеческий отбор подчиняется тому же закону
Это не патология машины. Это то, что делает дискреция, и человеческие данные указывают в ту же сторону.
Аудит резюме отправил 36 880 заявок на 9 220 американских вакансий для недавних выпускников. В управленческих профессиях отклики были на 28–43 процента ниже для чернокожих мужчин, чернокожих женщин, белых женщин и латиноамериканских мужчин, чем для в остальном идентичных белых мужчин (Braun et al., 2026). Структурный результат важнее заголовка: широкие профессиональные категории скрывали различия, а разрывы концентрировались в работах, соединяющих высокие аналитические и межличностные требования с низким рутинным содержанием. При разложении содержания задач субъективная оценка расширяла разрывы отклика, а объективная точность их сжимала. Наиболее резко: случайно назначенные квалификации, повышавшие отклики в среднем, закрывали разрывы на работах с низкой дискрецией, но не на работах с высокой.
Сигнализирование со стороны кандидата не исправляет проблему дискреции со стороны работодателя. Это делает только ограничение самой оценки. Это рабочая статья на рецензии, и она измеряет первые ворота, а не найм — но механизм тот же, что изолировал аудит LLM. Дискреция несёт предвзятость. Структура лишает её пространства действия. Промпт — просто то место, где живёт дискреция, когда отбирает модель.
Ваш аудит предвзятости сертифицирует не тот объект
Теперь положите комплаенс-документ рядом с этим механизмом.
Нью-йоркский Local Law 144 запрещает использование автоматизированного инструмента решений о занятости, если только «инструмент не прошёл аудит предвзятости в течение года до его использования, информация об аудите предвзятости публично доступна и были предоставлены определённые уведомления» (NYC Department of Consumer and Worker Protection, 2026). Аудируемый объект — инструмент.
Европейские обязанности ложатся на другую сторону. Обязанности развёртывающего для систем высокого риска Приложения III — среди них найм и оценка кандидатов — требуют использования в соответствии с инструкциями поставщика по применению и, по изменённому графику, применяются с 2 декабря 2027 года (EU AI Act Explorer, Article 113). Поставщик сертифицирует систему. Вы отвечаете за то, как она фактически используется.
Между этими двумя полюсами лежит результат данного исследования: то, что решает, появится ли предвзятость, — ни веса модели, ни ваши намерения, а формулировка инструкции, обрамляющий текст и температура, при которой всё это работает. Это никто не аудирует. Обычно это даже не версионируется.
Что изменить в этом квартале
Четыре шага. Ни один не требует закупочного цикла.
- Версионируйте промпт оценки как измерительный инструмент, а не как настройку. Поставьте его под контроль изменений с владельцем и датой. Любая правка — включая «безобидную» переформулировку — это изменение измерительного прибора, и она аннулирует прежний результат аудита для этого прибора.
- Удалите фоновый язык культурного соответствия из инструкций оценки. Он работает как неизмеряемый критерий. Если культурный контекст действительно важен для роли, сделайте его явным, отдельно оцениваемым измерением с письменным обоснованием, а не абзацем атмосферы перед запросом.
- Перетестируйте при смене промпта, а не по календарю. Годовой аудит против промпта, который вы с тех пор правили одиннадцать раз, не сертифицирует ничего. Запускайте проверку справедливости как регрессионный тест при каждом изменении инструмента и зафиксируйте заодно температуру сэмплирования.
- Задайте два вопроса при продлении. Какое поколение модели и какие веса аудировались — и против какого промпта? Открытая по весам модель в этом исследовании вела себя иначе, чем коммерческие, именно на тех сигналах, которые поднимает небрежный промпт, и ни один отчёт об аудите не называет ваш промпт.
Структурно все четыре шага указывают в одну сторону: уменьшить долю решения, которой управляет неверсионированная инструкция. Архитектура оценки Scovai — один проработанный пример такого разделения: фиксированный бюджет весов, разделённый 50/50, половина считается арифметически из заявленных требований роли с весами критичности, половина возвращается как четыре помеченных субоценки суждения модели при низкой температуре, каждая со своим письменным обоснованием, а не погребённая в общем итоге. Достойная заимствования идея дизайна — не само разделение, а то, что оно делает: оно называет, какая часть оценки является суждением, чтобы именно эту часть можно было аудировать как инструмент, которым она и является.
Честные ограничения, прежде чем кто-то построит политику на этом нуле. Резюме были синтетическими, дизайн был центрирован на США по именам, учреждениям и профессиям, охвачено шесть профессий, а юридические, государственные и сервисные роли — нет. Сравнительный дизайн измеряет относительные суждения, поэтому может пропустить предвзятость, действующую только на пороге принятия или отказа. Указывающие эффекты у открытой модели требуют больших выборок. Две из трёх моделей принадлежат семейству Gemini. И это снимок трёх моделей в один момент — собственная итоговая позиция автора в том, что такой аудит должен продолжаться по мере обновления систем. Исследование не получало внешнего финансирования и не заявляет конфликтов интересов.
Вывод, который выдерживает всё это: справедливость, измеренная на чистом бенчмарке, не гарантирует справедливости в развёртывании, потому что то, как модель спрашивают, может решить, появится ли предвзятость.
Так что достаньте на этой неделе ваш рабочий промпт отбора, прочтите его как измерительный инструмент, которым он и является, и проверьте одну вещь — был ли аудит предвзятости в вашей комплаенс-папке проведён против этой формулировки или против более ранней. Если вы не можете ответить, у вас нет аудита предвзятости. У вас есть сертификат на прибор, который вы с тех пор изменили.
