Scovai Scovai
Talent Intelligence 2026-11-14 1 min read

你的 AI 评分器通过了排序测试,却仍把通过率高估了 17 个百分点

DSL

Dr. Sarah Liu

你的 AI 评分器通过了排序测试,却仍把通过率高估了 17 个百分点

MIT 新审计中的一个评判者,在九分制上的平均偏差只有 +0.12 分——从统计上看是整套配置中定位最准的评分器。然而它报告称 78.4% 的工作成果可接受,而评定同一批回答的同职业劳动者给出的是 61.1%。一个几乎没有平均误差的评分器,偏离了 17.3 个百分点(Lyu & Thompson, 2026)。

这个缺口不是模型质量问题,而是验证问题——如果你挑选 AI 评分器的方式与多数运营团队无异,它此刻就潜伏在你的技术栈里,未被测量。

这项审计,以及它不同寻常之处

MIT 的 Harry Lyu 与 Neil Thompson 构建了 O*NET-BENCH,一套由既有劳动者评价语料组装而成的审计工具——45,796 条对 AI 生成回答的评分,任务源自 O*NET 的职场工作内容,评分者为美国劳动者,每人选择一项自述有经验的职业,并确认所给岗位与之相符(Mertens et al., 2026)。本次审计未采集新的人类数据。冻结抽取的快照时间为 2026 年 8 月 18 日;评测在 4,501 条留出测试评分上进行,任务 ID 与劳动者在各切分之间互不重叠。

在该语料上,作者运行了横跨六个模型家族的 33 种既有评判配置——Claude Haiku 4.5 与 Opus 4.7、GPT-5.4-mini、GPT-OSS-120B、DeepSeek-V4-Pro、Llama-3.3-70B、Qwen3.5-9B,含 LoRA 检查点——并在示例、逐条与成组呈现、评分表脚手架、解码设置、自洽性与集成等维度上做了变化。

在看数字之前要先记住一条告诫:这 33 个分支是相互关联的实验条件,而非 33 次独立复现,而劳动者是被估量的目标,不是客观真值。论文衡量的是与有经验的同职业评分者之间的一致性,而不是客观正确性。

每个 AI 评分器都能通过的排序测试

下面这部分你应该很熟悉。33 种配置全部把回答排得优于随机——每个按任务聚类的、计入并列的配对准确率区间都排除了 0.5。二十五种配置越过了 0.60,中位数为 0.631,最强的近乎完整配置达到 0.658。

如果供应商给过你一份验证材料,里面装的就是这些:与人类评分者的相关性、配对一致性、还原出的排名。凭这些证据,大多数评判者看上去都堪用。

两项发现让这份材料复杂起来。其一,一个仅基于回答文本训练的 TF–IDF 基线几乎追平了最强的评判者——这说明排序信号分布广泛但很浅,越过一条排序门槛,几乎无法把精巧的评分器与词袋回归区分开。其二是覆盖率陷阱:Llama-3.3-70B 只对劳动者判出胜负的配对中的 5.1% 给出了排序,于是 0.631 的条件准确率,在把它拒绝区分的配对计入后,坍缩为 0.507 的计入并列准确率。一个评判者靠在绝大多数样本上弃权,就能挂出体面的排序数字。

通过率才是真正走出公司的那个数字

这个阈值到底意味着什么

值得停下来看看这里的"可接受"究竟指什么,因为同样的含混就藏在多数企业内部的质量标准里。主要指标是九分制上的 manager_accept,接受阈值设在 7——而 7 的定义是无需修改即勉强够用,不是好。九分才是无需修改的上乘质量。所以劳动者给出的 61.1%,是指在这个职业里有经验的人会原样交付出去的回答占比,而且是在仍算得上可交付的最低档。如果你自己的通过率把"还行"和"优秀"混在一起、没有书面定义加以区分,那么问题在更早的一层就存在了,而且没有任何审计会替你找出来。

这个接受率数字对加权方式也很稳健:劳动者的比例按回答加权为 61.1%,按任务等权为 61.5%,按职业等权为 61.6%,而各评判者之间 3.0%–97.9% 的区间基本不变。离散是评判者的属性,不是聚合方式的产物。

没有人会向董事会汇报配对准确率。汇报的是一个比率:这一比例通过了筛选、这一比例的工单达到了质量标准、这一比例的岗位可被自动化。

在同样的 4,501 条回答上,33 个评判者估出的可接受比例从 3.0% 到 97.9%,中位数 43.9%,而劳动者是 61.1%。这不是围绕某个真值的噪声——这个区间宽到足以支撑你带进门的任何结论。全部 33 个平均偏差区间都排除了零:29 个打分低于劳动者,4 个高于,偏差中位数为 −1.18 分。Claude Opus 4.7 为 −3.23 分,相当于 1.7 个劳动者标准差,在 86% 的回答上打分低于劳动者。TF–IDF 对照组平均偏差 −0.05、排序能力不俗,落在 43.5%——可见对准平均值同样无法还原这个比率。

而最尖锐的一例,恰恰是表现最规矩的那个。逐条模式的 GPT-OSS-120B 拥有整套配置中最小的绝对平均偏差,+0.12 [0.01, 0.22]。它的分数分布被压缩了——标准差之比为 0.83——把质量集中堆在接受临界点附近,而在那里,一个微小的位置误差就会把大量样本推过界线。于是出现 78.4% 对 61.1%。

决定比率的是阈值附近的离散度,而不是平均误差。 两个平均偏差完全相同的评分器,报出的比率可以相差三十个百分点,取决于它们的分数在切点处堆得有多密。没有任何排序指标能察觉这一点。平均偏差检查同样不能。

校准移动的是均值,不是位置

显而易见的修法是做校准。作者做了:按任务分组的五折交叉验证保序校准,把每个近乎完整配置的绝对平均偏差压到至多 0.003。位置误差,解决了。

留下来的才是问题。校准后的分数最多只能解释劳动者个体评分方差的 8.5%——最佳交叉验证 R² 为 0.085,残差标准差 1.85,而劳动者评分的标准差为 1.94。如今均值对了,个体位置的离散程度却几乎如旧。自洽性与集成也没能挽救:那些配置仍保留着大约 −1.3 至 −1.5 分的平均偏差。在所研究的标注预算下,预测辅助估计最多带来很小的精度提升。

接着是那个应当终结"照着排序指标调提示词"这一习惯的结果。在某条微调谱系中,从逐条打分改为成组的 few-shot/listwise 协议,改善了回答排序,同时降低了在任务与职业层面上与劳动者均值的一致性。这一反转在任务与劳动者均不重叠的验证切分上、按预先设定的标准得到了复现。优化你所测量的指标,损害了你所汇报的指标。

显而易见的反驳:把人放回去

有道理——但人也是一把带有自身漂移的尺子。另一项针对 2,611 场由智能体主持的面试的审计,发现评审者之间存在 0.79 个标准差的严格度落差:一位更严格的评审在中途加入,把一条实际上仍在改善的既测质量趋势压平了(Liu Zhang & Esposito, 2026)。人工评审不是一台可以换上去的已校准仪器;它是第二台未经校准的仪器。

诚实的读法更窄,也更有用:两把尺子都不能自我验证,而其中只有一把便宜到可以持续审计。 你可以每季度把 4,501 条留出样本重新喂给评判者跑一遍。你没法把评审者重跑一遍。

有一条适用范围要讲明白,因为论文自己讲明白了:被评判的对象是 AI 生成的职业任务回答,评定的是管理者视角的可接受程度。这不是简历筛选,也不是招聘领域的现场实验。可迁移的结论是 LLM 评判打分的一种属性——排序验证不足以为一个比率背书——而不是对招聘结果的实测效应。即便如此,它在运营上依然紧迫,因为阈值正是分数变成决定的地方,而阈值误差正是差别性影响浮现的地方:一项对商用招聘工具的审计发现,10.62% 的"岗位—模型"组合未能通过 EEOC 的五分之四规则(Stanford HAI, 2026)。

运营负责人本季度该做什么

三个动作,按见效快慢排列。

1. 盘点每一处分数变成比率的地方。 候选名单切分线、QA 通过率、智能体升级闸门、任何写着"本岗位 x% 可自动化"的幻灯片。每一个都是阈值。每一个几乎都是依据排序证据或供应商基准选出来的,因而从未针对它所产出的那个量做过验证。

2. 对着被估量验证,而不是对着排序验证。 取 300–500 条你自己有经验的同事已经判过的样本,让评分器跑一遍,然后比较比率——你的人接受的比例,对比评分器在你当前切点上接受的比例。如果这两个数字相差超过几个百分点,那么无论评分器相关性多好,你的切点都定错了。接着检查离散度:如果分数在阈值半分之内堆积,这个比率就不稳定,改一次提示词就会把它挪走。

3. 别再让一个混合后的数字扛起决策。 对抗"尺度盲"的结构性防线,是让算术部分与模型判断保持可分离,这样漂移的评判者挪动的是一个可见的分项,而不是悄悄把总分推过某条线。Scovai 的评分模型建立在固定的 50/50 权重预算上——一半由岗位明示要求算术算出,一半以四个单独标注的模型分项返回,每项各带书面理由,调整项上限为 ±5,低于该"岗位—资历"同类群体统计下限的分数自动转交人工复核,且该复核无法由负责招聘的招聘官自行关闭。这套结构并不能让评判者变得校准,它让未校准的评判者变得可见,并让阈值保持为有人负责的决定,而不是某个分布的副产品。

你必须守住的那条线

论文最后的叮嘱,正适合带进你与供应商的下一次对话:AI 评分器应当对着它的分数将被用来估计的接受率与汇总量做验证,而不是对着它顺带产出的排名。相关不等于校准,校准不等于定位。该审计的附录 A 给出了一套六项的评判者验证报告标准——把它摆到供应商面前,看看回来的是什么,是件合理的事。

所以本季度的具体决定既小又难受:挑出你运营中牵动金额最大的那一个阈值——候选名单切分、QA 通过标准、升级闸门——然后弄清楚在同一批样本上,你自己的同事会得出怎样的比率。如果到季末你仍答不上来,那你管理的就不是一个被测量的流程,而只是在汇报一个没人核对过的数字。

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.