Token价格大幅下跌，但许多企业的AI预算却超支了。2020年，每百万token的推理成本为60美元，如今只需几美分。这种差异表明，尽管token成本降低，但效率低下问题依然存在。

为什么你的AI账单变高了，尽管token价格在下降

Token价格大约每年下降10倍。2020年每百万token需花费60美元的推理服务，如今只需几美分。然而，我接触的几乎所有企业都在AI预算上超支了。前几天我看到一份报告，称今年73%的企业超出了AI成本预期。

Ramp的数据很好地解释了这一点：从2025年1月到2026年4月，企业token消耗量增长了约1000%，而支出增长了约500%。价格在暴跌，同时账单也在暴增，因为用量增长速度是价格下降速度的两倍。

我们在Decagon内部也亲眼目睹了这种情况，无论是在我们自己的AI使用中，还是在我们部署的智能体中。我们与许多大型受监管机构（银行、电信、医疗支付方等）合作——以下是其中一个智能体（未缩放）的token使用情况。

单次对话的token用量持续上升。我提到受监管客户，是因为当我们的智能体与消费者对话时，准确性至关重要。例如，有些规则（如“不要提供财务建议”）是不可违反的。

这张图表上升的原因是，通过运行更多模型调用可以最大化准确性。你可以设立一个监督模型来检查主模型的答案。你可以让模型并行运行，以检查是否存在恶意行为。当你优化质量（而非成本）时，token用量自然会增加。

如果你的AI账单今年上涨了，以下就是实际发生的情况。

首先，消耗单位在你不知不觉中发生了变化。2024年，“使用AI”主要是指聊天机器人：一个提示，一个回复，结束。2026年，这意味着智能体。智能体不是回答一个请求，而是处理一个请求。它检索上下文、进行推理、调用工具、检查结果、失败时重试，并循环直到任务完成。一个用户任务可能触发数十次模型调用。你的预算假设每次交互只需要一次调用。而你实际部署的架构却需要二十次。

其次，每次调用都变得更“臃肿”了。RAG管道将检索到的文档塞入每个提示中。对话历史在每次轮次中都会被重放。推理模型以你付费的token形式进行“思考”。每次调用的上下文膨胀了好几倍，因此即使调用次数保持不变，每次调用的token数也在增加。由于上下文窗口大幅增加，过度优化其中内容的投入产出比很低。让模型“看到”更多内容更容易。

第三点则比较隐蔽：后台推理。监控智能体、文档观察器、合规检查——这些会对每个事件运行，无论人类是否提出要求。你的团队很容易设置这些常驻任务。我们最受欢迎的产品之一是Watchtower，它是一个AI，持续监控你的实时对话以发现特定内容（例如，提及你正在解决的一个bug、衡量情绪等）。这在早期模型中根本不可能实现。

像Decagon这样的应用程序通常不会转嫁额外token的成本，但你大部分的token支出将来自前沿实验室本身。

请注意，这些都不完全是浪费。这基本上是“杰文斯悖论”：当推理成本高昂时，你会编写一条谨慎的提示并接受答案。当成本降低时，构建一个奢侈消耗token的系统就变得合理了，因为这种奢侈版本实际上效果更好。廉价token并没有降低你的账单。它们反而让一种更昂贵的计算方式变得可行，而且每个人都在同一年采用了它。

还有一个刚刚开始的因素：你一直在支付的价格并不是真实的。虽然过去十八个月token价格下降了约80%，但其底层的计算成本却变得更贵了。H100的租赁费率在2025年10月触底，然后出现反转——到2025年3月，一年期合同价格飙升了40%，市场的按需容量已售罄。基本上，到2026年9月前上线（或上线中）的每块GPU都已预订。Nvidia宣布了租赁价格上涨。

那么，你实际上该怎么办？一个答案是让模型与用例的成熟度相匹配，我最近写过这方面的内容。

另一个选择是更谨慎地控制你的团队使用token的方式。你可以设置限制，如果用例确实有价值，再解锁它们。例如，据报道，特斯拉将每位员工在第三方AI工具上的支出限制在每周200美元；超出部分需要经理批准。

无论如何，核心要点是：每token成本现在是一个“虚荣指标”。它是一个可靠地在改善的数字，但它并不能告诉你有关账单的任何情况。真正重要的数字是每个完成任务（per completed task）的成本：每个工单解决、每个文档处理、每个工作流完成。用结果来计价你的AI支出，这个悖论就会消失。Token很便宜，而且会越来越便宜。你实际购买的是“完成的工作”，而那些围绕这个来定价、衡量和架构的企业，其账单才是合理的。