token-cost

作者讨论了AI代理陷入工具循环的问题，并提议构建一个名为'Moven AI'的开源SDK，它充当断路器，在失控代理产生过高成本之前中止运行。

最新基准测试显示，在8个B300节点上自托管Kimi K3实现了86.4%的任务解决率，硬件成本大约比在B200节点上运行的GLM-5.2高出20%，尽管吞吐量较低。

在一次Codex运行浪费了超过10万tokens且未能完成任务后，作者构建了一个能够可靠完成代码生成工作的工具。

NVIDIA详细介绍了其与PyTorch等开源生态系统共同开发的全栈推理软件，如何在Blackwell GPU上将令牌成本降低多达5倍，来自Baseten、Cognition、Deep Infra等的实际部署展示了性能提升。

NVIDIA宣布Vera Rubin平台，每兆瓦吞吐量比Blackwell提升10倍，并通过跨越七颗芯片和五个机架托盘的极致协同设计，为AI工厂提供最低的代币成本。

Chamath 透露其公司发现 AI token 成本每 45 天翻倍，但下游生产力提升最多 5%，认为 AI 发展正接近瓶颈，建议公司重新审视策略甚至考虑退出。

查马斯揭露AI行业成本与收益的残酷真相：token成本每45天翻一番，但下游生产力提升最多只有5%，大模型能力提升已达渐近线，未来3-4年内每家公司都将面临成本与收益的终极清算。

Meta对其Muse Spark 1.1模型的激进定价压低了OpenAI和Anthropic等竞争对手的价格，可能引发一场代币价格战，从而降低成本、防止双寡头垄断，并推动应用层的创新。

Fable 5 模型仅通过4个提示词和173美元token就制作了一款名为《超级智能竞速赛》的游戏，展示了极强的生成能力。

NVIDIA全栈推理软件与硬件协同设计，仅一个月内就在Blackwell平台上将Token成本降低多达5倍，为AI工厂实现更低的每Token成本。Baseten、Cognition、Deep Infra和Together AI等公司正在使用该软件栈优化推理性能。

一份报告指出，在轨道上运营AI数据中心每个token的成本是地面数据中心的8到12倍，凸显了太空AI计算面临的重大成本障碍。

Bellwethr 正在开发一种开放方法，用于追踪来自高性能模型的单个推理 token 的实际美元成本，目前基准测试套件草案和社区贡献正在进行中。

宣布 mattpocock/skills 版本1，这是一组AI技能定义，可将token成本降低63%，并引入了新的技能，用于代码库设计、领域建模等。

讨论如何通过结构化信息而非将所有内容都输入语言模型的上下文来降低 token 成本，并以一个 RLM 代理处理大量日志行但只使用少量活跃 token 为例。

一个 GitHub 工具，通过根据提示复杂度动态调整 effort/thinking 参数来降低 Claude API 成本。

这篇论文提出了一个名为 Efficiency Frontier 的统一框架，将大模型上下文管理视为部署优化问题，联合建模任务表现、token 开销和预处理复用。在 5000 个 HotpotQA 实例上，部署优化可节省 25% 的 token 量，而记忆压缩在高精度场景下比全上下文便宜一半以上。

一份实用指南，解释Claude Code中的提示缓存工作原理，如何将Token成本降低90%，以及常见的破坏缓存的习惯，帮助开发者延长会话时长并降低成本。

OpenSquilla 推出了一款开源 AI 代理运行时，通过智能路由、缓存和四层记忆架构来降低 Token 成本，声称可节省 60-80% 的费用。