如果你的智能体学到了任何东西，为什么 Run 10 的成本和 Run 1 一样？

Reddit r/ArtificialInteligence 新闻
ai-agents token-efficiency cost-analysis compute-usage metrics agent-workflows

摘要

对AI智能体token消耗的批判；提出Token投资回报率（ROTI）作为效率指标，指出大多数智能体不会随着时间减少token使用量。

Jensen Huang 曾说过，如果工程师不在AI计算上大量投入，他会"深感担忧"。Meta建立了一个内部排行榜，追踪其85,000名员工中谁消耗的token最多——发放"Token Legend"徽章，30天内消耗了60.2万亿个token。该排行榜在人们开始为了排名而刷数据后被撤下。该领域最有影响力的声音正在将消耗量作为产出的代理指标。比尔·盖茨曾说过，用代码行数来衡量软件进度就像用重量来衡量飞机制造。我们正在以更大的规模犯同样的错误。那么为什么我们不以token ROI来衡量呢？ROTI——Token投资回报率。一个成熟的智能体工作流应该随着时间使用更少的token。如果智能体真的学会了你的任务，第10次运行应该比第1次更快更便宜。这才是学习的样子。大多数智能体并非如此。无论你运行同一个工作流多少次，token花费都保持不变。没有任何信号显示有所改进。你并不是在建立杠杆——你只是在重复租用计算资源。你实际上用什么来判断一个智能体是否在尽职尽责？
查看原文

相似文章

你们究竟是如何降低 Agent 系统成本的？

Reddit r/AI_Agents

本文探讨了 AI Agent 系统在成本优化和 FinOps 方面面临的挑战，指出了 Token 账单不可预测、缺乏细粒度归因工具等问题，并提到了缓存和硬性限制等应对策略。