你的工程师选择了他们的编程智能体。但没有人选择这些智能体运行其上的设置——而正是这些设置决定了哪个模型来回答、对话中有多少内容按全价重新发送,以及一次按键背后会启动多少个子智能体。Accenture Responsible AI 的一篇预印本对取自公开数据集的约 10,000 个真实智能体会话重新定价,发现在不干扰任何进行中对话的前提下,把工作转移到最便宜的胜任模型上,可以收回 13% 至 21% 的智能体模型支出(Kwartler、Aqrawi 与 Abbasi,2026)。
可迁移的数字不是那个百分比,而是它下面的分母:每位工程师每个活跃日 41 美元。
运行你的编程智能体的那个产品,是一项无人做出的采购决策
论文对"运行智能体的产品"的称法是 harness(运行框架)——Claude Code、Codex,以及作者们依据许可文件和配置文档构建的耦合矩阵中列出的另外十九个。几乎没有企业自己构建它,大家都直接采用模型供应商随席位一起附带的那一个,并沿用其默认设置。
钱就是在那里被决定的。运行框架选择由哪个模型回答某一轮对话、该模型读取多少上下文、提示缓存如何被使用、以及哪些子智能体运行。按作者的说法,它因此既选定了价目表上的费率,也决定了按该费率买入的用量。账单的两半,都由一个没人审阅过的配置文件决定。
把这件事和同一家机构对待一笔 3 万欧元软件支出的方式比一比:供应商评估、安全问卷、一位具名负责人。而智能体运行框架是通过开发者工具预算进来的,如今却在推动一个高出一个数量级的数字,却完全没有负责人。
重新定价发现了什么
作者构建了一个路由器,置于运行框架与模型端点之间,并用真实会话中测得的行为——包括纠正、停顿和子智能体启动——模拟了一家 10,000 席位的企业。
| 指标 | 结果 |
|---|---|
| 现状年度模型支出,10,000 席位 | 2,440 万美元,即每位工程师每个活跃日 41 美元 |
| 保护缓存的路由所收回的部分 | 13% 至 21%,相当于每年 330 万至 510 万美元 |
| 在最高价位模型上比在下一档更便宜的长会话占比 | 51% 至 80% |
| 总节省中来自这一个交叉点的份额 | 约四分之三 |
请仔细读这个区间,它不是置信区间。330 万美元是作者实际运行的分类器所能带来的结果;510 万美元是一个完美分类器所能带来的结果。这两个数字之间的差距,是你路由决策的质量,而不是统计噪声。
他们结果中的一行让机制变得具体:一次长编程会话内部的单行改动,从 0.90 美元降到 0.36 美元。不是因为模型变便宜了,而是因为这个请求不再拖着整段对话一起走。
账单的三分之一是返工,而不是工作
最有可能在你自己公司的重新定价中存活下来的那个发现,与路由毫无关系。
在该模拟中,纠正——也就是有人告诉智能体它错了、它再试一次的那些轮次——占现状账单的三分之一以上。把它们剔除,月支出便从 203 万美元降至 131 万美元。纠正同时也是人们打断编程智能体的最常见单一原因:在作者引用的供应商样本中占全部打断的 32%。
这与麦肯锡 QuantumBlack 今年早些时候发表的智能体成本发现形状相同:对于银行业的客户服务智能体,令牌成本只占智能体可变运行成本的 20% 至 25%,而人工监督占 70% 至 75%(McKinsey QuantumBlack,2026)。工作负载不同,方法不同,结论相同:智能体昂贵的那部分,是人必须回头复核其产出的那部分。
还有一个质量信号指向同一方向。GitClear 对 2023 年至 2026 年间 6.23 亿次代码变更的分析发现,代码块重复上升 81%,同一提交内的复制粘贴上升 41%,掩盖错误的写法上升 47%,而重构性的行移动下降 70%(GitClear,2026)。他们为这一结果创造的说法值得借用:永久 V1 组件——上线后再也不会被整合的代码,因为没人会去重构一个智能体可以重新生成的东西。
返工你要付两次钱:一次在账单上,一次在代码库里。
每令牌价格不等于每任务成本
交叉点这个结果是反直觉的那一个,也是打破每一位注重成本的运营负责人本能的那一个。
在长且工具密集的会话里,最贵的模型每次会话的成本低于它下面那一档——在成本达到 100 美元及以上的真实会话中,有 51% 至 80% 如此。机制在于缓存:一个以下一档一半费率读取缓存上下文的顶级模型,在任何会足够多次重读自身历史的会话中都会胜出,而智能体工作一直在重读。论文对这一依赖说得很直白:抽掉顶级模型,整体节省就从 13% 崩到 3.1%,因为交叉点需要它。
所以"我们把所有人都换到便宜模型上了"不是一项成本计划,而是一个赌注——赌你的会话都很短。
缓存是那个隐藏的计量表
论文里的三个配置细节,对一家 200 人的公司来说,比头条那个百分比更有价值。
第一,缓存存活时间。编程智能体的缓存在消费级订阅上能存活一小时,但在 API 密钥和云服务商上只有五分钟——而后者正是企业网关的接入方式。Anthropic 对两种选项都有文档,并将一小时缓存的写入定价为基础输入令牌的两倍(Anthropic,2026)。在两个公开的真实会话语料中,17% 至 27% 的用户轮次是在超过五分钟的停顿之后到来的。每一个这样的轮次都要以全价从冷态重建缓存。更长的 TTL 不是免费的,但几乎可以肯定比默认设置正在对你做的事更便宜。
第二,网关本身。如果运行框架与模型之间的代理剥除了缓存标记或 beta 请求头,供应商就会在每一个轮次把整段对话当作未缓存输入计费。这是一次静默而彻底的缓存损失,而肇因是一个运行完全正常的网络组件。
第三,按角色设定的上下文默认值。对一段 30 万令牌的历史做一万次冷返回,仅重新发送就要 18,750 美元;先把它裁剪到 3 万令牌则只要 1,875 美元。一位处于任务中途的工程师可能真的需要完整历史。而一位修改草稿的市场人员并不需要上一版背后的推理过程。一个对所有人统一的阈值,是一项伪装成默认设置的定价决策。
诚实的反面
四点局限,直说。
这是一篇预印本,而且版本很关键。 arXiv 2609.28919 于 2026 年 9 月 24 日发布,9 月 26 日修订。修订把头条数字从 14-21% 改为 13-21%,节省额从 500 万改为 510 万美元,并更换了论文标题。它尚未完成同行评审。如果你在别处看到此前的数字,那是第一版的数据。
这是一次模拟,不是经审计的账单。 作者用取自公开会话语料的行为建模出一家 10,000 席位的企业,而非某一家公司的真实账单。他们坦承其情境低估了最短的轮次——四分之一的真实请求出现在少于七个请求的会话中,而他们的只有 3.8%——并且若会话形态像他们参考语料之一,那 13% 会降到约 9%。
全部算术都挂在一份价目表上。 一切都基于 Anthropic 2026 年 9 月 21 日的标价。在统一的缓存读取规则下,交叉点消失,节省降至 6%。供应商会在很短的通知期内重新定价。可迁移的是方法,不是数字。
路由本身并不完美。 分类器判断复杂度的正确率只有 63%,而它移动过的轮次中有 12.5% 是错误降级,被送到了低于工作所需档位的模型上。把阈值从 0.8 放宽到 0.5,会多移动 46% 的轮次,却让节省下降到 10%,因为纠正链的成本高于这些移动所省下的钱。激进的路由,就是你买入返工的方式。
还有一个更宽的告诫:如果令牌成本确实只占智能体可变运行成本的四分之一,那么收回令牌这一项的 13% 至 21%,相当于收回智能体真实成本的大约 3% 至 5%。值得拿,但不是战略。
这个季度要改什么
四个动作。没有一个是采购,只有一个是技术性的。
- 从你自己的账单里把"每位工程师每个活跃日"这个数字拉出来。这就是整个练习。按模拟中的 41 美元算,三十位工程师在约 220 个活跃日上接近每年 271,000 美元;按供应商报告的约 13 美元均值算,接近 86,000 美元——这是我在他们的计量单位上做的算术,不是他们的发现,而这个跨度恰恰就是要去测量而不是去假设的理由。
- 给运行框架的配置指定一位具名负责人,级别与任何同等规模的支出一致。眼下,默认设置归发布它们的人所有。
- 在考虑路由之前先检查三项设置:缓存 TTL、你的网关是否原样转发缓存标记、以及上下文上限是否按角色区分。论文自身的建议顺序把这几项放在任何路由器之前,因为一个位于剥除缓存的网关之后的路由器什么也省不下来。
- 把指标从每令牌成本或每席位成本,换成每个经核验任务的成本——这个单位包含了纠正链。这是作者的收尾建议,也是唯一一个会在工作真正变好而非仅仅变便宜时才移动的数字。
最后这一点比听起来更难,因为它要求一段智能体工作的成本,和一个人是否接受了它的记录,存放在同一个地方。值得看看 Scovai 在其 Digital Employees 界面上如何构建这件事:三种成本来源被刻意分开——你在发票上支付的、平台自身计数器所测量的、以及供应商所申报的——月度和单笔交易上限挂在席位而不是工具上,并且有一条明示规则:某个数字不存在时,界面会直接说明,而不是打印一个零。
这篇论文令人不适的结论是:多数公司在这个十年里将要新增的最大一笔可变技术成本,目前正由一个随开发者工具一起到来的配置文件所决定。不是供应商谈判,不是预算,也不是任何人的决定。
所以在这个季度结束之前,去弄清楚你的编程智能体按每位工程师每个活跃日实际花了多少钱——以及,具名地说,谁被允许更改决定这件事的那些设置。如果第二个问题的答案是"没有人",那你已经找到了问题,而它从来都不是每令牌的价格。