对于代理循环而言,Claude Fable 5.1的缓存读取折扣是关键所在

Reddit r/AI_Agents 新闻

摘要

这篇文章比较了Claude Fable 5.1和5,显示由于缓存读取享受75%的折扣,长时间的代理循环成本降低了7.5%,这在长期会话中主导了计费。

做了一个小规模的并行测试。相同的三个提示词在Claude Fable 5上通过代理循环运行,然后在Fable 5.1上运行:粘球滚动路径上的所有物体、水豚在河上冲浪(地铁冲浪者风格)、饺子在无尽传送带上躲避。成本:Fable 5:$7.65 Fable 5.1:$7.08(减少7.5%)。输入和输出费率未变。变化的是缓存读取:在5.1上为每百万$0.25,比输入价格低75%。代理循环在每一步都重放大量基本稳定的上下文,因此缓存读取实际上主导了任何长期运行的成本。与模型多次重读增长的上下文相比,新的输入和输出很小。Anthropic声称在高度代理工作负载上可节省高达45%。我们没有达到这个目标,因为三个任务中有两个在几轮后就收敛了,缓存没有增长。长任务几乎消耗了所有的差异。对于聊天形状的使用,节省只是几分钱。对于长时间的自主循环,这是实实在在的节省。实用建议:对于在这里运行代理的人来说,在引用百分比之前,先测量你自己的循环。如果你的平均会话很短,不要期望太多。如果你运行通宵或几分钟长的自主任务,这就是折扣发挥作用的地方。我从事Atomic Agent(开源本地运行时)的工作,代码库和文章在评论中。
查看原文

相似文章