Scovai Scovai
Hiring 2026-10-16 1 min read

申诉流程不是错误保险:求职者对人工复核者的重视,高于你能加装的任何程序性保障

DSL

Dr. Sarah Liu

申诉流程不是错误保险:求职者对人工复核者的重视,高于你能加装的任何程序性保障

把 1,919 名美国求职者放在两套 AI 筛选系统面前并强制选择,最能左右他们的并不是错误率,而是最终是否由人工复核者来决定。在一项九月发表的预注册联合分析实验中,加入人工参与使筛选系统被选中的概率提高了 0.272——与把误拒率从 30% 降到 10% 所带来的 0.285 在统计上无法区分,两者差值的置信区间跨过零 (Wang, Sturgis & de Kadt, 2026)。

把这笔交换读两遍:你三分之二的误拒,或者决定上署一个人的名字。候选人给出的定价几乎相同。

这个结果很有意思。下一个结果在运营上很贵,因为中端市场的大多数拒绝路径都建立在它的反面。

当交换被强制时,1,919 名求职者给出了什么价

研究设计是值得认真对待的理由。每位受访者在 AI 筛选系统的配对档案之间做了八次选择——总计 30,704 份档案——六个属性彼此独立随机化:决策权、错误率、解释、退出选项、申诉、独立偏见审计。

独立随机化是方法论上的关键。此前研究通常让程序与性能同时变动,因此无法判断求职者究竟是因程序本身而重视申诉,还是只因它能纠正的错误。该设计把两者分开,并在收集数据之前完成了预注册。

样本是在职与在找工作的人,而非学生:平均年龄 36.6 岁,35.0% 处于失业且积极求职状态,74.9% 在求职过程中已被 AI 评估过。

以下是价目表,以"被选中概率的变化"表示 (Wang, Sturgis & de Kadt, 2026):

系统属性对被选中概率的影响
AI 建议,人决定+0.287
AI 先筛选,人决定+0.257
人工参与(合并)+0.272
提供申诉+0.156
提供退出选项+0.129
提供解释+0.128
独立偏见审计+0.068
错误率从 30% 降到 10%+0.285

合并后的人工参与超过了申诉、退出选项与偏见审计,各项均为 p < 0.001。人工参与、申诉与退出选项各自都超过偏见审计,同样为 p < 0.001。

一个人坐在决定上,价值约为独立偏见审计的 四倍。

系统变差时,申诉并没有变得更值钱

这是颠覆标准补救顺序的发现。

如果程序性保障是错误保险——如果申诉之所以有价值是因为它能拦住误拒——那么误拒越频繁,它的价值就应该越高。实验正是检验了这一点,预注册的等效界限为 ±0.05。

申诉的价值没有上升。退出选项、偏见审计和解释也没有。申诉与退出选项甚至通过了更严格的 ±0.03 界限;偏见审计与解释通过了注册的 ±0.05。错误纠正的预测在四者中无一成立。

申诉是最清晰的检验,因为它的纠错功能在四者中最为直接。它与错误率的交互不显著,90% 置信区间落在 ±0.03 之内。这个属性只告诉受访者"可以重新审查",并未说明它运作得有多好——而在每一个被测试的错误率下,这都已经足够。

人工参与是唯一落在界限之外的属性,作者对此很谨慎:其优势在错误率 10% 时为 0.285,20% 时为 0.289,30% 时为 0.239——非单调、对尺度敏感,且在 logit 模型下不显著(p = 0.21)。他们明确拒绝把这读成"错误增多时人工审查贬值"。你也不该这样读。

可用的结论更窄也更硬:性能工作与程序工作回应的是两种不同诉求,二者互不替代。 一家雇主若上线更准确的模型却把人从决定中移走,是在一个维度上获益、在另一个维度上受损。

偏见审计不是候选人能援引的东西

再看一眼申诉 (+0.156) 与偏见审计 (+0.068) 之间的差距。作者的解读是全文最可迁移的一句:决策权决定由谁做决定,申诉与退出选项给候选人可以援引的东西,而审计检查的是跨案例的结果,不为任何个人提供通道。

这是三种不同的功能,而合规制度对它们的处理差别极大。纽约市 Local Law 144 要求做偏见审计,并附一份说明如何申请替代流程的通知——而实施细则并不强制雇主真正提供该流程 (NYC DCWP, 2023)。EU AI Act 走的是另一条路,依据附件 III(4)(a) 以及第 14 条和第 26(2) 条要求对特定招聘系统实施人工监督;而 GDPR 第 22 条赋予一项有条件的权利,即不受完全自动化决定的约束,并有权要求人工介入和对结果提出异议 (EU AI Act, 2024)。

如果你的 AI 筛选体系是为满足第一种制度而搭建的,你拥有的是系统层面的文档。而这 1,919 名受访者对文档的重视低于所有被测属性。

人工复核者实际上必须坐在哪里

还有一个对设计有真实分量的对比。受访者偏好"AI 建议,人决定"(+0.287) 多于"AI 先筛选,人决定"(+0.257),差距为 0.030,p < 0.001——而且这一偏好不随错误率变化(全区间变化 +0.005,95% CI [−0.026, 0.036])。

这两个层级在措辞上差别很小,在实践中差别很大:只有前者让人看到 AI 本会拒掉的申请。候选人为此支付了可测量的溢价。

行为数据指向同一方向。在美国候选人中,38% 曾至少一次因为流程包含 AI 主导的面试而退出招聘流程;被引用最多的放弃触发因素——由 33% 指出——是没有任何人在场、由 AI 评分的预录视频面试 (Greenhouse, 2026)。

这些属性会互相加强吗?只是勉强

如果人工决策者与申诉能相乘,那会很方便。但支持这一点的证据很薄。当已有人工参与时,申诉被更高地估值——+0.025,95% CI [0.004, 0.047]——但同一交互在联合模型的 logit 规格下失去显著性(p = 0.31)。退出选项的交互基本为零,为 −0.0003。

因此把这些属性当作可加的,而非协同的。你买的不是一个"某项功能会提升另一项"的套餐,而是四件独立的东西,候选人给出四种不同的价格。由此得出的顺序建议并不华丽:先买贵的那个。

诚实的反驳

三点限制,直说。

这是陈述性选择,不是真实申请。 没有现状选项、也不能同时拒绝两者的假设性配对选择,是一个干净的工具,不是薪资台账。而且这些属性被呈现为零成本——问卷里的申诉没有排队、没有延迟、没有不确定的结果,而那不是你真正会运行的申诉。

名义上的人不等于人。 作者点出了明显的失效模式:回路中的复核者可能顺从他本该核查的建议。实地证据让这一点更锋利。在哈佛商学院一项由 228 位评审审阅 48 份真实提案的实验中,"黑箱"式 AI 建议提升了决策质量,而同样的建议配上叙事性解释却没有——评审不成比例地服从了拒绝建议,推高了假阴性 (Lane et al., HBS, 2026)。一个人加上一段有说服力的理由,可能比两者单独存在都更糟。候选人要的是一个做决定的人;而你的漏斗需要这个人真的在做决定。

候选人仍然会投递,而这会误导你。 对使用 AI 招聘的雇主的投递意愿在五点量表上平均为 3.24,高于对 AI 招聘正当性的认同 2.85(p < 0.001);7.8% 的受访者正当性评分低于中点、投递意愿却高于中点 (Wang, Sturgis & de Kadt, 2026)。申请量并不能可靠反映候选人是否认可你的流程正当。漏斗顶部健康不等于同意。

在本季度结束前,拒绝路径上该改什么

四个动作,都不需要新的预算科目。

  1. 别再把申诉门户记在"准确度工作"账上。 如果你对候选人信任投诉的补救方案是"调模型、加一个申诉表单",那就是两笔开支回应同一个诉求,而另一个诉求无人回应。分开定价,因为候选人就是分开定价的。
  2. 把人从"监督"挪到"决定"——特别是在拒绝这一侧。 能拿到 +0.287 而不是 +0.257 的版本,是让人在模型拒掉之前看到它本会拒掉的申请。让这件事持久的机制是一条路由规则,而不是一项政策:低于其职位与资历同类群体统计下限的评分会自动路由给人工复核者,进入一个招聘负责人无法自行关闭的队列。如果你想要一个可参照的实例,Scovai 在其平台页面公开记录了这套路由及其背后的权重。
  3. 绝不要用审计换掉个案复审。 增加系统层面的审计却撤掉个案复审,改变的是候选人能做什么,而不只是你能记录什么——这是用估值 0.156 的属性换来估值 0.068 的属性。
  4. 把申请量从公平性指标里换掉。 改为测量 AI 筛选环节的放弃率,以及 AI 评分测评的完成率。这两个指标会在候选人反对时发生变化,申请量不会。

程序性权利凭自身成立。它们不是对冲你错误率的工具,而你的错误率也替代不了它们。人工复核者不是模型被证明不可靠之后才加装的保障——按这份证据,它一开始就是候选人在定价的东西,也是清单上唯一无可替代的属性。

所以,这周打开你的拒绝路径,找出那个出现人名的环节。如果唯一的名字属于一张表单,你拥有的是文档——不是决定。

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.