这个逻辑成立,却也提醒我们保持独立判断的重要性。
模型间效率差异同样惊人。在相同任务上,Kimi-K2和Claude-Sonnet-4.5平均比GPT-5多消耗超过150万token。 有趣的是,人类专家主观评定的任务难度,与实际token消耗仅呈弱相关。开发者眼中“简单”的bug修复,可能因代理探索路径冗长而耗费巨量token;反之,一些看似棘手的任务却能相对高效收敛。这暴露了当前代理设计在人类直觉与计算效率间的明显脱节。
模型间的token效率差异进一步放大了这一问题。在相同SWE-bench类任务上,某些前沿模型的平均消耗明显高于效率更高的选项,输入token占比常超过50%。人类专家评定的任务难度与实际token成本相关性微弱,模型自身对消耗的预测相关性也仅在0.4左右且系统性低估。这一点目前行业内仍有不同声音,但实测数据已足够提醒我们,盲目依赖迭代循环容易让预算在不可预测的随机性中蒸发。
模型选择对token消耗的影响远超多数人的预期。即使在所有模型都能解决的简单任务子集上,Kimi-K2或Claude-Sonnet系列与GPT-5类模型的token开销仍存在显著差距。这种差异并非单纯来自任务复杂度,而是agent行为模式和上下文管理方式的不同所致。人类专家对任务难度的主观评估,与实际token成本仅呈弱相关,这意味着经验估算在agentic场景下可靠性有限。值得持续跟踪的是,随着模型迭代,这一剪刀差是否会收窄。
大多数媒体和开发者目前把目光聚焦在AI代理带来的效率跃升上。在SWE-bench这类真实软件工程基准中,顶级代理系统已经展现出不俗的表现,许多人因此乐观认为,只要引入Agentic Coding,就能让AI像资深工程师一样自主完成复杂任务,从而显著减少人力投入。这一点确实有其道理——代理通过工具调用和多轮迭代,能处理真实项目中的迭代调试,而非简单的一次性问答。
同一任务不同运行间的token总量甚至可相差数十倍,而更多token并不必然带来更高准确率——峰值往往出现在中间成本区间。这说明盲目增加迭代或上下文长度,并非总是划算。
论文重点拆解了agentic tasks的独特消耗机制。与简单问答不同,编码Agent需要在多轮工具调用中不断累积上下文——读取仓库文件、生成补丁、执行测试、回溯验证。每一步的输出都会被塞进下一轮的输入,导致上下文窗口快速膨胀。即使引入缓存,输入token的累积效应依然主导整体成本。输出token虽不可忽视,但远非主要驱动因素。
总体而言,AI编码Agent的迭代循环风险本质上是上下文膨胀与随机性的结合。Reflexion等自纠正机制放大了输入累积效应,却未必带来成比例的收益。开发者若不提前干预,token消耗的不可预测性很容易拖垮整个项目。如何在预算内让Agent“聪明停手”,仍是当前部署实践中一个值得持续关注的开放问题。
第三,不同模型的token效率差异显著。在相同SWE-bench任务上,Kimi-K2和Claude-Sonnet-4.5平均比GPT-5多消耗超过150万token。这反映出架构、提示处理和工具集成方式的本质区别。企业选择部署哪款模型,直接决定了实际运营成本的高低。数据支持这个方向,但样本量仍有限,值得持续跟踪。
除了模型间差异,论文还指出,人为评定的任务难度与实际token消耗仅呈弱相关。人类直觉认为的“复杂Bug”,Agent执行时消耗的计算努力可能完全不同。这解释了为什么一些看似简单的修复任务会突然烧掉巨量token。类似地,前沿模型普遍无法准确预测自身token使用,预测相关性最高仅0.39,且系统性低估真实成本。这意味着预算规划往往不靠谱,值得持续跟踪,现在下结论为时尚早。
最近,一篇arXiv论文首次系统拆解了AI Coding Agent在SWE-bench Verified上的token消耗轨迹。研究团队借助OpenHands框架,追踪了八大前沿LLM在500个真实GitHub issue上的完整执行路径,揭示出agentic任务的token开销远超普通代码推理或聊天场景。输入token而非输出,成为成本主导因素。这比单纯“模型越强越贵”的直觉复杂得多。
% 与 7% 的差距,已说明一切。