今年智能密度大幅提升,但我的账单没变。$/M 数字并不是真正的花钱之处。

Reddit r/singularity 新闻

摘要

作者反思了 AI 模型每 token 的价格大幅下降,但实际成本保持平稳,因为更便宜的模型会被更频繁地重新运行。他们认为,重要的是每完成步骤的成本,而不是每百万 token 的成本。

一年前,一个像样的执行器模型每百万 token 的价格还很贵。现在有三四个已经处于近乎免费的水平。纸面上看这是一场暴跌。实际上我的支出没有变化,原因很无聊。更便宜的模型会被重新运行。它可能提前停止,或者悄悄用字面路径替代了本应使用 glob 的地方,或者在说出任何内容之前就把大部分输出预算花在了思考上,然后编排器又把它送回一轮。对一个步骤进行三次便宜的尝试并不比一次昂贵的尝试更便宜,而且在挂钟时间上要糟糕得多。所以我开始关注的数字是每完成步骤的成本,而不是每 token 的成本。没有人公布这个数字,因为它对你的调用框架的依赖程度至少不亚于对模型的依赖,而这正是 $/M 被宣传的原因。我一直在轮换使用的模型都属于稀疏 MoE 级别,其中一个是我参与的 Ling-3.0-flash。这就是为什么定价故事让我烦恼而非高兴的部分原因。有没有人真的在跟踪每完成步骤的成本?我想知道一旦用这种方式衡量,模型之间的差距会是什么样子,因为我的猜测是排序会改变。
查看原文

相似文章

智能每美元(2分钟阅读)

TLDR AI

微软在模型发布卡上引入'平均Token使用量'作为衡量每美元智能的新指标,将AI竞争转向效率和成本效益。该指标在性能和实现智能的成本两方面对模型进行基准测试。

每百万Token的价格毫无意义

Hacker News Top

本文认为,由于分词器和Token效率的差异,按每百万Token价格比较AI模型会产生误导。文章提供了一个基准成本分析,表明每Token价格较高的模型在完成每个任务时反而可能更便宜,其中DeepSeek V4 Pro是一个突出的成本效率异常值。

每个AI提示都需花费成本——这改变了一切

Reddit r/AI_Agents

文章认为,AI的真正挑战不仅在于构建更智能的模型,更在于以规模化的方式降低成本效率,强调了减少token使用、提升速度以及优化基础设施的重要性。

AI使用收费机制让我感到不合理。

Reddit r/artificial

作者认为当前AI使用定价模式存在缺陷,因为用户被收取了不可见的‘思考’token费用,形成了依赖信任的计费系统。他们建议实验室要么调整输出token定价,要么按计算资源明确收费。