对于代理循环而言,Claude Fable 5.1的缓存读取折扣是关键所在
摘要
这篇文章比较了Claude Fable 5.1和5,显示由于缓存读取享受75%的折扣,长时间的代理循环成本降低了7.5%,这在长期会话中主导了计费。
做了一个小规模的并行测试。相同的三个提示词在Claude Fable 5上通过代理循环运行,然后在Fable 5.1上运行:粘球滚动路径上的所有物体、水豚在河上冲浪(地铁冲浪者风格)、饺子在无尽传送带上躲避。成本:Fable 5:$7.65 Fable 5.1:$7.08(减少7.5%)。输入和输出费率未变。变化的是缓存读取:在5.1上为每百万$0.25,比输入价格低75%。代理循环在每一步都重放大量基本稳定的上下文,因此缓存读取实际上主导了任何长期运行的成本。与模型多次重读增长的上下文相比,新的输入和输出很小。Anthropic声称在高度代理工作负载上可节省高达45%。我们没有达到这个目标,因为三个任务中有两个在几轮后就收敛了,缓存没有增长。长任务几乎消耗了所有的差异。对于聊天形状的使用,节省只是几分钱。对于长时间的自主循环,这是实实在在的节省。实用建议:对于在这里运行代理的人来说,在引用百分比之前,先测量你自己的循环。如果你的平均会话很短,不要期望太多。如果你运行通宵或几分钟长的自主任务,这就是折扣发挥作用的地方。我从事Atomic Agent(开源本地运行时)的工作,代码库和文章在评论中。
相似文章
对于我个人来说,Fable 5.1最疯狂的事情
作者使用Claude和ccusage计算得出,Fable 5.1中78%的成本来自缓存读取,并预测如果缓存读取变得更便宜,成本将降低57%。
Anthropic 推出 Claude Fable 5.1,并表示其用于智能体任务的成本降低高达45%
Anthropic 推出 Claude Fable 5.1 和 Mythos 5.1,声称用于智能体任务的成本降低高达45%,性能提升,并提供新的数据隐私选项。
Tokenomics:Claude缓存的62.5分钟法则(8分钟阅读)
对Anthropic为Claude提供的提示缓存的成本分析得出62.5分钟的盈亏平衡规则:如果你预计在62.5分钟内再次需要缓存,请刷新它,否则让它过期以节省成本。
代理循环成本高昂,因为每次调用都要为之前的所有步骤付费
本文解释了代理循环成本高昂的原因(每一步都会重新发送累积的上下文),并主张在网关而非提示词中设置成本上限,以防止无限制支出。
提示缓存真的能为AI代理节省可观成本吗?
一个实践性讨论,质疑提示缓存是否能为生产环境中的AI代理带来有意义的成本节约,审视了现实因素如缓存命中率、路由策略和规模。