@paulg: 尽管你按令牌为AI付费,但那不是推理的单位,因为随着模型改进,每个令牌能解决更多问题……
摘要
文章认为,虽然AI是按令牌付费的,但令牌并不是真正的推理单位,因为效率随着模型进步而提高,建议基于问题解决链创建一个新单位。
尽管你按令牌为AI付费,但那不是推理的单位,因为随着模型改进,每个令牌能解决更多问题。有人需要定义这个单位,或许可以使用一个由越来越难的问题组成的链条,其中每对问题都可以由单个模型解决。
相似文章
@twimlai: 随着推理模型消耗更多token且AI系统运行成本上升,理解这些token的实际价值变得愈发关键。
本集播客讨论了AI token经济学和新兴问题‘tokenflation’,重点讨论如何衡量AI token的价值、基准测试的局限性以及AI效率的未来创新。
运行AI代理最昂贵的部分不是令牌消耗,而是花在弄清楚它们行为原因的时间。
构建AI代理的过程揭示,主要成本在于调试——花费数周追踪诸如上游API变更等问题——而不仅仅是令牌或模型推理成本。
每个AI提示都需花费成本——这改变了一切
文章认为,AI的真正挑战不仅在于构建更智能的模型,更在于以规模化的方式降低成本效率,强调了减少token使用、提升速度以及优化基础设施的重要性。
AI使用收费机制让我感到不合理。
作者认为当前AI使用定价模式存在缺陷,因为用户被收取了不可见的‘思考’token费用,形成了依赖信任的计费系统。他们建议实验室要么调整输出token定价,要么按计算资源明确收费。
今年智能密度大幅提升,但我的账单没变。$/M 数字并不是真正的花钱之处。
作者反思了 AI 模型每 token 的价格大幅下降,但实际成本保持平稳,因为更便宜的模型会被更频繁地重新运行。他们认为,重要的是每完成步骤的成本,而不是每百万 token 的成本。