标签
作者将 Jev 决策模型集成到开源 agent 框架 TrueForge 中，实现比让 LLM 做全部决策低 150 倍成本的结构化选择，并结合 Claude Opus 复核低置信度结果，保持同等准确率。
作者通过与几位构建 AI 智能体的开发者交流，总结出批量智能体任务的共同模式（可容忍延迟、无交互、大批量），并指出现有的实时与批量推理 API 均无法很好地满足这类工作负载，尤其是键值缓存命中率问题，导致批量 API 实际上难以节省成本。
用户分享在 Claude Code 中将模型替换为阶跃星辰 Step 5 Preview、配合开源 Skill 批量生成代码动画视频的体验，成本仅为 Opus 5 的 1/8；Step 5 Preview 已上线 OpenRouter 并登顶 Trending，将于 10 月 15 日开放权重。
推文讨论 Anthropic Haiku 的定价策略，指出其仅在 100k token 以内价格低廉，超过后价格跳涨 5 倍，质疑这是一种针对基准测试优化以霸榜的隐性策略。
作者分享了三个问题，用于决定在AI代理和脚本之间选择，强调了程序知识、项目数量和独立性，以及成本和速度的权衡。
一项关于嵌入与大语言模型成本效益的讨论，引用了名为'embedder's dilemma'的研究，该研究发现大语言模型以显著更高的成本超越了嵌入模型。
本文对三种智能体记忆系统（Mem0、Hindsight、Mastra Observational Memory）与参考策略在多种对话主干模型上的服务成本进行了基准测试，发现成本主要由内部记忆行为驱动，盈亏平衡点差异很大，且没有系统能在成本和准确性上同时胜出。
一位开发者在AI智能体内对13种搜索API配置进行了基准测试，发现读取负载的隐藏token成本可能占据总账单的大部分，而且不同提供商之间的差异高达67倍。
本文认为，常见的专注于减少token的LLM成本建议过于肤浅，而在生产环境中更具影响力的策略是，将不同的工作流步骤路由到不同的模型，而不是使用单一的默认模型。
一篇文章讨论提示缓存如何大幅降低LLM API成本，指出提供商对此解释不足，并提供一个简单的规则来构建提示以获得最大缓存命中率。
Graham Neubig 分享了一种通过将简单任务委托给较小的智能体来降低LLM成本的 sidekick 架构，并提供了一个使用 OpenHands SDK 的200行示例。这种方法也被用于 Cognition 的 Devin Fusion 混合模型 harness。
作者批评了在LLM使用中追求token最大化的趋势，并主张通过优化和路由转向代币回报（ROT），以实现可持续的AI部署。
本文系统量化了20种非洲语言在11个前沿和开源分词器上的分词惩罚，发现推理成本和延迟最高可达8.9倍，有效上下文窗口仅为英语的11%，突显了子词词汇表中编码的结构性数字鸿沟。
一份实用指南，介绍如何为LLM API调用实施调用前预算执行，涵盖估算、对账、故障开放决策、范围预算和并发处理，以防止失控成本。
Headroom是Netflix的Tejas Chopra开发的一个GitHub工具，它能在将输入（工具输出、日志、RAG块等）发送给LLM之前进行压缩，承诺在不改变答案的前提下减少60–95%的token。它支持Python/TypeScript库、本地代理、MCP服务器，以及针对流行编程代理的封装器。
一项分析表明，像Anthropic和OpenAI这样的AI公司每获得100美元收入，可能实际花费超过1000美元，凸显了LLM市场不可持续的经济状况。
Lowfat是一个轻量级的CLI过滤器，通过在被代理工具接收前剔除不必要的输出来降低AI令牌成本，声称可节省高达91.8%的令牌。它提供Shell集成、插件支持，以及针对Claude Code和OpenCode等工具的透明重写功能。
AI代理导致Token消耗失控，使超支成为一类生产事故。文章列举了诸如一位工程师130万美元的OpenAI账单以及Uber在四个月内烧掉全年AI预算等案例，并向社区询问如何为代理费用设置上限。
每百万 token 的成本对比：在 Apple Silicon 硬件上本地运行 LLM 与通过 OpenRouter 使用云推理的成本比较，发现本地推理通常贵 3 倍且更慢。