两位评审给同一个已投产 AI 智能体的同一批次打分,在综合质量指数上相差 0.79 个标准差。而同样这六个月里,任何一次有记录的部署所带来的最大质量变动是 0.20 个标准差(Zhang & Esposito, 2026)。也就是说,这套 AI 智能体评估中的噪声,大约是它本应识别的信号的四倍。当五月一位更严格的评审加入轮值后,公司的原始质量趋势走平了——而智能体一直在变好。
这不是一个关于评审马虎的故事。这是一个关于当你运行一条打分流、却从未检验这些分数彼此是否可比时会发生什么的故事。
这项研究:2,611 场已评分面试、14 个批次、一个投产智能体
Liu Zhang 与 Mark Esposito 研究了一家使用语音加视频 AI 智能体进行实时招聘面试的公司。2026 年 3 月至 8 月,该公司自有的评估流水线依照九族量表,为 14 个批次中的 2,611 份生产录音打分,并刻意让人工评审在每个批次内部交叉重叠。这一重叠就是方法的全部:它是唯一能把一位评审有多严格与智能体究竟进步了多少分开的手段(Zhang & Esposito, 2026)。
这个设计之所以重要,是因为它正是中型企业运营团队已经在做的事。两三个人按量表给智能体的输出打分,分数进入仪表盘,再由某个人看那条曲线。唯一的差别是,大多数团队并不让评审重叠——因此无从分辨这两种效应。
重叠揭示了以下结果。
五月加入的培训师评审 B,给同一批次的打分比评审 A 低 0.79 个标准差(标准误 0.05)。在两人都评过的九个批次中,这一差距在每一个批次里都是负的,范围从 −0.90 到 −0.53 个标准差,按逆方差合并后的差距为 −0.77(标准误 0.03)。异质性检验拒绝了严格恒定(Q = 19.0,p = 0.01),因此这一偏移是近似值而非干净的常数——但方向一次都没有反转。
剥掉评审效应,图景随即反转。潜在质量指数上升了 0.53 个标准差,从 3 月 29 日的 0.05 升至 8 月 10 日的 0.58。提升是真实的。那条平线只是「谁握着笔」的副产品。潜在严重失效率以另一种形状讲了同一个故事:3 月为 2.8%,在 5 月 9 日前后见顶于 6.3%,随后持续下行,至 8 月 10 日降到 2.5%(Zhang & Esposito, 2026)。
评审之间的落差,比智能体做出的任何变化都大
把三个方差成分并排放在一起,因为它们的次序本身就是结论:
- 评审偏移: 0.79 个标准差
- 逐场面试噪声: 0.89 个标准差(个案层面)
- 批次间真实变动: 0.20 个标准差
三者都出自同一数据集(Zhang & Esposito, 2026)。智能体质量的真实变动,是整个系统中最小的一项。仅仅是评审一侧的人员变动,就足以把六个月的真实改进从原始趋势里抹掉。六月盯着那块仪表盘的团队,会断定智能体已经触顶——并且有充分理由回滚一次本来有效的部署。
这一点值得停下来想想。关于智能体治理的争论,多数都围绕该买多少监督。而这个结果说,更前置的问题是:你已经买下的监督,是否产出了在时间上彼此可比的数字。如果没有,增加它只会增加体量,而不是信息。
量表上更严,否决项上更松
数据内部的这一反转,是任何在做智能体 QA 的人都应当感到不安的细节。在综合指数上打分更狠、低 0.79 个标准差的同一位评审 B,标记严重失效的比例是 2.0%,而评审 A 是 5.0%——批次内相差 −2.2 个百分点,方向相反(Zhang & Esposito, 2026)。
严格并不是一个旋钮。一位评审可以在计分项上很硬,却在真正会中止部署的那个二元判定上很软。这意味着,用量表分数去校准评审,完全说明不了他们是否在「什么算不可接受」上取得一致。这是两个彼此独立的校准问题,而几乎没有哪套 QA 流程这样对待它们。
你的评估有保质期,而诚实的答案是「一到二十一周之间」
论文的后半部分给证据上了一只钟。在估计有记录的部署之间未被解释的变动速率后,指数的预测不确定性在四周后达到 0.18 个标准差,八周后 0.25,十二周后 0.30。按点估计,它在约五周后达到已观测到的最大部署落差——即 4 月 12 日那次 0.20 个标准差的变化;按合并速率则是六周。
接着作者做了让这篇论文真正可用的事:他们报告了区间。在漂移速率 95% 的范围内,这个时限落在1 周到 21 周之间。十四个批次对方差的识别是松散的,估计值由少量阶梯式变化驱动。
不要在没有区间的情况下引用那「五周」。宽度才是结论。它说明:目前没有人——包括作者本人——知道一次智能体评估会多快失效;而一次季度签核,是在押注一个下界只有一周的区间的乐观端。
有一个独立信号与校正后的指数同向移动:与面试相关的支持工单,相对技术问题工单每月下降约 10%。这是来自评估流水线无法左右的结果的旁证,比再加一张量表更有价值。
把反方论点说清楚
这只是一次部署。一家公司、一个智能体、十四个批次,一篇尚未同行评议的初步工作论文。作者说得很明白:「这些数据并未识别出评估对绩效的因果效应。」 本文没有任何内容表明,是运行评估项目让智能体变好的。
所以这个结论比标题窄,却比单一案例更耐用。主张不是「评估让智能体更好」。主张是:一条评审严格度未受控的打分流,能够把真实趋势的符号翻过来——这是测量的属性,不是这家公司的属性。
条件反射式的回应是增加评审。理论在这里同样提醒要谨慎:更强的审计会威慑部分违规,但会提高那些仍然违规的智能体的隐蔽程度,因此随着审计量上升,查获率反而可能下降(Gans & Holden, NBER, 2026)。在这两支文献中,监督的设计都胜过监督的数量。人被放在哪里,既是安全变量,也同样是吞吐变量——有计划的中途确认点把任务完成时间压低了 13.54%,优于只在末尾确认,且 81% 的参与者更偏好它(Zhou et al., CHI 2026)。
而且这不是一个可以等它自己过去的过渡性问题。在一项针对 300 位技术高管与从业者、为 101 项智能体任务排序的调查中,59% 已经在规划永久性的人工监督,所陈述的顾虑是问责(48%)与幻觉(47%)(MIT Technology Review Insights, 2026)。如果人工复核这一层是永久的,那么它产出的打分流就是永久性基础设施——而没有人把它当成这样来对待。
下一次部署前,该修正 AI 智能体评估的哪些地方
四项改动,按成本排序。前两项几乎零成本,直接出自论文的方法。
1. 让评审在每个批次内部重叠。 让至少两个人在同一时段内,对同一批相同条目的一个共享子集打分。单凭这个习惯,就能把严格度与真实变动分离开;没有它,你画的每一条趋势线都把两者混在一起。它的代价是在一个样本上重复打分,而不是再增一个编制。
2. 把严重失效标记与量表分数分开校准。 在这里,两者相差 2.2 个百分点且方向相反。在一个综合数字上达成一致,不等于在「什么会中止发布」上达成一致。
3. 按部署重评,而不是按日历。 证据的时效以一个你没有测过的速率衰减。把评估挂到变更日志上——每一次有记录的部署都获得一次新的读数——而不是挂到一个可能已经超出有效时限四周的季度评审日期上。
4. 用一个评估无法左右的运营结果来旁证。 工单、升级、返工率、处理时长。如果量表动了而结果没动,相信结果。
这为什么不是一种抽象的测量顾虑:在任何让智能体凭自身履历换取自主权的治理模型里,打分流都是一个控制面。如果自主权是按行动类型、依据一份由干净审批构成的计算台账逐步放开的,或者一个席位要由主管的周期性记分卡来收口,那么评审漂移就不只是误导一块仪表盘——它决定了一位数字员工能拿到多大余地,以及人是否还留在回路中。凡是这条链被明确写下来的地方——默认先确认、自主权按行动类型授予、每个席位之上都有一位具名主管,如 Scovai 的 Digital Employee 模型——这种依赖至少是可见的。凡是没有写下来的地方,底层分数的可比性已经悄悄从一个分析问题,变成了一个问责问题。
这个季度要做的决定
你不需要新工具、新供应商,也不需要更大的复核预算。你需要知道的是:你 AI 智能体评估里最近四个分数,是否出自同一套标准——而此刻,你几乎必然说不清。不是因为流程糟糕,而是因为流程里从来没有任何一环是为回答这个问题而设计的。
那就选能回答它的最小版本。这个季度,让第二位评审在同一批次内,独立且盲评你的主评审已经评过的 10% 条目。比较两个分布,再把这个落差与你向上汇报的变动相比。如果落差接近信号的量级,那么你的智能体质量趋势一直在测量的是你的排班表。
代价是几个小时的重复打分。替代方案是继续依据一个「有人休假时计量单位就会变」的数字,去做自主权、回滚和编制的决定。
先测量评审,再信任评审结果。