如何优化 AI Coding Agent 的 token 消耗？实用成本控制策略

这也是很多站点需要重点补齐的能力缺口。

更深层的原因在于token消耗的高度随机性，即stochastic consumption。同一任务、同一个模型，不同运行的决策路径可能天差地别：工具调用顺序、循环次数、无效探索分支的进入概率、上下文管理策略等因素随机组合，像不可控的掷骰子过程。论文数据显示，某些运行的总token用量能比另一次高出30倍。开发者常以为更强的模型会带来更稳定的表现，但实际随机性远超预期，路径差异主导了成本波动。

云端AI Agent的最大优势在于性能和易用性。以GPT-5、Claude-Sonnet系列为代表的前沿模型，在复杂编码场景下准确率更高，无需自己搭硬件，直接通过API就能上手。开发者可以快速构建多步Agent流程，处理SWE-bench这类真实软件工程问题时往往能取得更好结果。但论文也显示，不同模型间token效率差异明显，有些模型在相同任务上比GPT-5多消耗超过150万token。

提示缓存是另一个立竿见影的手段。agent运行中反复发送的系统指令、工具定义或历史摘要，完全可以启用平台级缓存。Claude等模型的prompt caching能把这部分输入token价格降到原来的十分之一。实际操作时，把不变前缀设为缓存对象，每隔几轮用廉价模型生成简短总结替换全量历史，避免重复浪费。不少项目反馈，这一层优化单独就能贡献25-40%的节省。

arXiv最新论文《How Do AI Agents Spend Your Money?》的轨迹分析显示，这种现象在agentic coding任务中极为普遍，输入token的累积是主因。

论文的核心贡献在于实证了代理经济的几大结构性特征。同一任务的不同运行轨迹，token 总消耗可波动高达 30 倍，且高消耗并不必然带来更高准确率——准确率往往在中段成本就已饱和，继续投入反而收益递减。这个发现直接挑战了“多算多得”的直觉认知，暴露了计算努力与实际产出之间的脱节。

开发者长期以来习惯用人类经验预估AI Agent成本，认为任务逻辑越复杂、涉及多轮调试越多，token开销就越高。这种直觉在普通聊天或单步推理场景中或许成立，但在agentic workflow里却频频失效。论文指出，agentic任务整体比普通代码推理高出约1000倍token消耗，但内部变异远比表面数据更剧烈，主流讨论往往只停留在“整体昂贵”层面，忽略了随机性和模型差异带来的系统性偏差。

最近，一篇arXiv论文系统剖析了八个前沿大模型在SWE-bench Verified上的agentic coding轨迹，结果显示人类专家评定的任务难度与实际token消耗之间仅呈弱相关（Kendall τ约0.32）。许多被标记为“简单”的任务却消耗了远超预期的token，而部分公认“困难”的任务在某些模型上反而运行得相对高效。这个发现暴露了人类认知与AI代理实际计算努力之间的显著gap。

更反直觉的是，token使用表现出高度随机性。同一任务多次运行，总消耗可能相差高达30倍，而更高的token投入并不必然带来更高的准确率——准确率往往在中等的成本区间达到峰值，随后便趋于饱和。这一发现提醒开发者，不能简单以表面准确率数据作为选型唯一标准，实际运行中的成本表现更值得关注。

防控的核心不是取消迭代，而是让Agent在预算内聪明停手。提前设置硬性token或成本上限、在每轮API调用前检查并终止，已被证明能显著降低风险；结合早停机制监控准确率改善幅度，以及上下文总结压缩历史、选择token高效模型，则能在保持或提升准确率的同时，将总体消耗控制在可控范围。值得持续跟踪，现在下结论为时尚早，但主动设限显然比被动买单更现实。

另一个值得注意的现象是，同任务不同运行间的token用量波动可高达30倍，且高消耗并不必然对应更高准确率。准确率常常在中段成本水平就达到饱和，继续追加资源反而收益边际递减。这个逻辑成立，却也提醒从业者：单纯追求更强模型未必是优化路径，效率差异远比参数规模更关键。但现实更复杂，模型间表现仍受提示设计和框架影响。

企业不妨把可靠性分析当作一个能力建设的切入点。