同样的模型。同样的十五分钟。同样的任务。把这段时间窗口从一小时的前半挪到后半,专家评定的创造力就下降 0.62 个标准差(Huang、Yu、Chen 与 Zhou,2026)。工具本身没有任何变化——变的只是团队被允许动用它的时刻。这一发现让 AI 使用时机成为一个有明确价码的配置决策,而在多数公司里,这是一个没人做过的决策:助手就是开着的,一直开着,对所有人开着。
这项研究是一个预注册的实验室实验,148 个三人团队(444 名参与者)被随机分配到五种使用同一语言模型的时间安排中,任务是一项 40 分钟的产品设计工作。任务包含 15 分钟的搜索阶段、15 分钟的选择阶段和一个开发阶段。决策关口——作者称之为 the screen,即筛选——在所有条件下都落在第 15 分钟。
实验真正挪动了什么
五种条件:助手仅在搜索阶段可用、仅在选择阶段可用、全程可用、完全不可用,以及搜索阶段可用并附带一条关于过度依赖的常驻提示。平台强制执行每个时间窗口,全部 2,124 条记录在案的查询都落在各自分配的窗口内。助手是单一模型(DeepSeek V3.2),温度设为 0.1。四名具有五到十年行业经验的评审对每份提交进行盲评。
核心对比是搜索阶段使用与选择阶段使用之间的差距:评分量表上相差 0.356 分,95% 置信区间 [0.064, 0.648],Welch p = 0.018,作者将其报告为 0.62 个标准差。该结果经受住了他们预注册的 Benjamini-Hochberg 校正,覆盖全部八组对比。
与无 AI 的对照组相比,这一格局更为清晰:
| 条件 | 相对无 AI 的增益 | p 值 |
|---|---|---|
| 搜索阶段可用 | +0.486 分 | 0.002 |
| 全程可用 | +0.479 分 | 0.002 |
| 仅选择阶段可用 | +0.130 分 | 0.43 |
表中有两点值得重读。其一,晚期使用没有带来任何可测量的增益——但也没有让团队比完全不用 AI 更差。作者说得很明确:他们没有找到惩罚效应的直接证据;代价是一笔错失的溢价,而非损害。其二,在搜索阶段使用之上再叠加选择阶段使用,毫无所得:全程相对于仅早期为 −0.007 分。全部回报都在第一个窗口里。
为什么 AI 使用时机决定回报
平台日志精确定位了机制,而它与投入程度或使用频率无关。各条件下团队使用模型的频率相近。
早期可用的团队抵达关口时手握 19.8 条写下来的不同想法,而无 AI 团队只有 3.9 条——想法池大了五倍。其中大部分源自机器(18.6 条),而团队自己起草的想法实际上从 3.9 条降到了 1.3 条。助手在把想法池扩大数倍的同时,也挤掉了团队自身的一部分构思。随后他们做了裁剪:约三分之一的汇集想法(32%)重新出现在提交中,与无 AI 团队的比例相同,提交中包含 2.9 份方案。
整个故事就在这里。宽广的想法池,然后是人的筛选,然后是收窄的承诺。
晚期可用的团队抵达同一关口时有 3.8 条想法——与对照组的 3.9 条在统计上完全一致,正如随机分配所预期。随后他们拿到了模型,却没有用它来做选择。他们用它重新搜索。在时间窗口、系统提示词和模型都固定的条件下——晚期可用对比全程可用,这是干净的比较——晚期可用的团队把 29% 的选择阶段查询用于生成新选项,而已在搜索阶段用过助手的团队只有 11%。
后果体现在什么留了下来。晚期可用团队提交的文本中,只有 5% 在关口之前就已存在,而无 AI 团队为 22%,早期可用团队为 71%。晚来的选项没有被加进已筛选的集合里。它们取代了那个集合。基于句向量的相似度给出同样的格局,所以这并非助手把团队既有内容改写了一遍。
从未与团队见面的选项
有一个细节值得所有负责评审流程的人留意。在晚期可用的团队中,机器生成的材料从未与队友分享过就直接进入提交的比例为 9.6%,而早期可用组为 3.9%。当作者固定请求类型后,两种条件之间的多数差异都会缩小并失去显著性——但未经分享的采纳依然成立。在任务后期、决策悬而未决之时,产出直接进入交付物,没有经过第二双眼睛。
这与"验证税"在现实中测到的失效是同一回事:52% 的员工经常需要订正同事产出的 AI 生成成果,42% 的人花在核验 AI 产出上的时间超过了使用它所节省的时间(Adaptavist,2026)。未经筛选的产出不会消失。它只是变成下游某个人的筛选难题。
晚期使用买到的是广度,而广度不是质量
晚期可用的团队并没有闲着。他们产出更多。每份提交的方案数相对对照组增加了 1.53 份(标准误 0.54,p = 0.005)——相对于对照组均值 2.10 份方案增长了 73%,是早期可用组增幅的两倍。
人类评审并不为此加分。跨团队来看,每多一份方案就对应着低 0.179 分的评分。选项更多了,而每个选项的质量下降了——当固定的开发预算被摊到更多候选方案上时,这正是预料之中的结果。
这就是运营负责人面对的问题形状:晚期使用 AI 会稳定地增加可见产出,也同样稳定地无法提升被评定的质量。如果你的看板统计的是产出件数,晚期使用看起来就像一场胜利。
诚实的反驳:这个发现里内嵌着一套计分规则
作者自己提出了这个反驳,而这是全文最有用的部分。给广度计分,结论就会移动。
给每个团队的得分按每份方案加上 γ 分,早期相对晚期的优势就会从 γ = 0 时的 0.356 降到 γ = 0.1 时的 0.279,再到 γ = 0.2 时的 0.203(p = 0.076),并在 γ = 0.46 时彻底消失。只要每份方案计 0.1 分,晚期使用就会超过无 AI 的对照组。早期使用在平均方案上领先 0.356,在最佳方案上领先 0.221,而在总分上则发生反转——晚期可用团队的总分更高。
所以诚实的表述是有条件的:如果你需要的是一个有力的承诺,就在筛选之前把助手交给团队。如果你需要的是一组可以继续推进的宽广选项,晚期使用并不是一种失效模式。错误在于不做选择。一个长期开着的助手会默认设定这个参数,而对于承诺型工作,这个默认值是昂贵的那一个。
关于这项研究,任何内部纪要都还应写进三条限制。参与者是中国的 444 名在校学生,平均年龄 21.6 岁,任务是 40 分钟的结构化作业,只用了一个模型——作者坦承其设计"以场景的广泛性换取识别的干净"。该设计的检验效能针对 d ≈ 0.74,而实测为 g = 0.62,因此这并非一个被精确估计的效应,尽管它经受住了校正。此外,早期对比晚期这一比较带有作者已披露的提示词混淆:系统提示词是按阶段设定的,搜索阶段的助手被要求生成,选择阶段的助手被要求打磨。固定提示词、窗口与模型的比较是晚期使用对比全程使用——也就是 29% 对 11% 那个结果,而它指向同一个方向。
你的 AI 评估器不会察觉这一点
下面这个发现应当改变的是流程,而不是观点。
每份方案还由来自五个模型家族的十个前沿语言模型依据与人类专家相同的评分标准打了分。该模型评审团内部一致性良好,其团队得分与人类评审团的相关系数为 0.61。它正确识别出了使用 AI 的总体收益,把各种使用条件都放在了高于对照组 0.58 到 1.41 个标准差的位置上。
但它完全看不见时机带来的代价。早期对比晚期的差距,在人类评分下为 0.59 个标准差(p = 0.019),在模型评审团下为 −0.08(p = 0.77)。剔除与助手最接近的那个模型后仍为 −0.10;把两个 DeepSeek 模型都剔除后仍为 −0.08,所以这并非自我偏好。这种盲区出现在每一个维度上——原创性、适切性、完成度、文本质量——而人类专家在这些维度上看到的是 0.5 到 0.7 个标准差的差距。
部分原因是机械性的。人类评审每多一份方案就扣 0.179 分;模型评审团只扣 0.063 分。模型评审团没有像专家那样给广度定价,而广度恰恰是晚期使用所产出的东西。
作者的原话值得带进决策会议:一个用 AI 裁判来评估 AI 辅助工作的组织,"会看到辅助是有帮助的,却看不到它的时机很重要"。
这并非针对单一评分标准的孤立结果。评估层本身就是带有自身属性的测量仪器,而且会漂移:在一项关于智能体产出评审的纵向研究中,五月加入的一位更严格的评审员对完全相同的批次打分低了 0.79 个标准差,在原始数据中把一个真实的 0.53 个标准差的改进趋势抹平了(智能体评估中的评审者效应,2026)。无论你的裁判是人还是模型,在让它为一次部署打分之前,都需要先对照某个基准做校准。
在能力一侧还有一个值得一提的对照。在一项为期三个月、涉及 133 名专利律师的随机对照试验中,使用 AI 使交付成果的质量在第 90 天提升了 0.38 个标准差——而当工具被撤走后,保留下来的优势集中在资深律师身上,达到 0.45 个标准差,初级律师则没有表现出任何平均增益(Autor 等,NBER w35720,2026)。交付质量与底层判断力就此分离。这项关于时机的研究是同一课题在更高一层的翻版:产出物看起来没问题,而本应生成它的那个过程并没有跑起来。
运营负责人本季度应当如何处理 AI 使用时机
四个具体动作,按成本从低到高排列。
- 找出你的筛选点并把它们写下来。 针对两三个最关键的重复性工作流,指明选项集合关闭、承诺开始的那一刻。多数团队指不出这个点,而这正是把使用时机安排错的前提。
- 逐个工作流决定你买的是深度还是广度。 这就是把 γ 问题落到实处。承诺型工作——一份方案、一家供应商、一个计划——需要助手在筛选之前到位。铺开型工作则需要它在之后。把答案写进工作流定义,而不是交给随便哪个打开聊天窗口的人。
- 把筛选之后的 AI 使用限定在开发上,而非生成上。 29% 对 11% 的差距就是那个可测量的失效点。凡是助手的首次贡献必然来得较晚的场合,就要求晚到的产出必须与已选定的内容做比对,而不是未经筛选地与之竞争。
- 在信任一个结论之前先验证你的评估器。 用你的自动裁判和两位有经验的人同时评一批样本,比较你真正关心的那些对比项——而不只是整体一致性。一个在水平上相关系数达 0.61 的评审团,在真正要紧的那个对比上仍可能给出 −0.08。
第三点和第四点是配置问题,不是培训问题,这也正是按任务治理胜过一纸通用政策的原因。当这类工作发生在平台上而非文档里时,真正起作用的控制项是落在单次动作层面的那些:Scovai 的 Digital Employees 默认采用 confirm-first,自主权按动作的类别从一份有记录的审批台账中逐步获得,occupancy 则按岗位设定——于是"助手可以深化一个已选定的选项,但不得在关口之后另开新选项"就成了一条带审计轨迹的强制设置,而不是手册里某行没人会在第 22 分钟去读的文字。
请注意这一切都不需要什么。不需要新工具,不需要新预算科目,不需要迁移模型。这个实验改动的,是贵公司每天都在无意中设定的一个参数——在每一个有人开着聊天窗口的工作流里。
挑出你本季度最关键的那个重复性决策,问一个问题:AI 是在筛选之前到场,还是之后?如果没人答得上来,那你做的就不是 AI 试点。你是在默认运行那个昂贵的条件——而如果打分的是一个 AI 裁判,你的报表里永远不会有任何东西告诉你这件事。