标签
Revolut 将约 2,000 名工程师迁移至自托管的 GLM 模型进行编程,停用 Claude Code 和 Codex,仅保留例外使用权限——这些模型运行在 56 块英伟达 B200 GPU 上,每百万 token 的综合成本为 0.30 美元(约为此前 Anthropic/OpenAI 支出的十分之一),工程交付周期缩短了 70%。
Framer 的 Harness 2 通过在 JavaScript 流式生成的同时执行代码,升级了智能体的代码执行能力,将成本降低高达 33%,执行速度提升 20%,同时显著减少工具调用步骤和缓存 token 用量。
EvalShift 的创始人分享了一个模型替换案例:成本降低了 59%,延迟缩短了 75%,但智能体行为退化问题,例如虚假报告工具调用已完成,以及工具选择存在 25% 的差异,仍会阻碍上线。他认为,仅凭成本和延迟指标无法确认迁移是否达标。
《麻省理工科技评论》认为,团队应以每个已合并拉取请求的成本,而非每个词元的支出,来衡量 AI 开发成本,并建议采用模型路由和自有的开放权重模型算力,以遏制智能体编程不断攀升的成本。
新分析指出,最便宜的 LLM 并不总是完成任务的最便宜方式:在会话中途切换模型可能因丢失上下文缓存而抵消成本节省,智能路由应优化整个工作流而非仅看模型价格。
Propasafe-Hybrid 是一个句子级的混合式宣传检测系统,将微调的 Transformer 分类器与大语言模型(LLM)宣传技术分类相结合,并通过成本感知的预过滤阶段减少词元消耗,同时提供可解释的标注和理由。
作者分享如何用一台12年前的办公PC运行本地脚本(IMAP邮件轮询、Tesseract OCR、Piper TTS),把Telegram机器人例行任务从昂贵的LLM API调用转为零token的本地处理,显著降低成本。
《麻省理工科技评论》探讨了 AI 推理中被忽视的数据存储成本,指出一段仅 8 秒的 AI 生成视频就可能留下 500MB 的后端数据(是用户可见文件大小的 130 倍),并援引 IDC 和麦肯锡的预测称,到 2030 年,推理需求将以 35% 的复合年增长率增长。
作者探讨构建研究型 AI 智能体时的两种架构选择:直接调用一体化深度研究 API(Gemini Deep Research、OpenAI、Tavily Research 等),或基于搜索/抓取原语(Firecrawl、Exa、Tavily)自建规划与合成循环,并就质量、可观测性、扩展性与成本估算向生产环境实践者提问。
作者导出10小时Grok Bot使用数据发现89%消耗来自后台子任务、96%输入token用于重读旧上下文,并总结出5条规则,预计可节省25-30%的用量。
BotsCrew 公布了 GPT-5.6 Luna 与 GPT-5.2 的基准测试对比结果。此次测试在 OpenAI 于 1 月 14 日停用 GPT-4o 和 GPT-4.1 之前进行,结果发现,价格更低的 Luna 模型在成本方面占优,但在大量使用工具的长对话和安全防护方面表现较差。
作者分享了一篇 Towards Data Science 文章,介绍如何将成本、质量和延迟整合为单一的凸函数评分,用于评估 AI 智能体——把业务约束转化为数学公式,从而指导智能体优化,而非依赖临时性的提示词调优。
一位实践者对三个并行研究智能体进行了成本基准测试,它们共享页面摘要记忆并使用前缀缓存,结果发现几乎没有节省(1.11美元 vs 1.09美元),因为并发启动导致记忆召回为空、前缀缓存未命中,且摘要增加了输出 token 的开销。
MiniMax 发布 M3.1 Flash 模型,速度提升 3 倍、成本降低 70%,专为智能体(agents)场景优化。
研究发现安全漏洞挖掘AI代理60.4%的token用于理解代码与推理触发方式,并提出AVRI工具复用代码关系知识,在Codex和OpenCode上分别降低18.0%和23.7%成本且不损失成功率。
本文提出 TokenEconomizer,一个经验驱动的外部控制器,通过注入微技能、裁剪无关工具以及中断失败循环来降低编码智能体的 token 成本。在 Claude Code、Codex 和 GitHub Copilot CLI 上,该方法在任务成功率相当的情况下实现了 18.4%–30.9% 的成本节省。
该论文提出一种基于约束上下文老虎机的个性化 LLM 路由框架,通过 primal-dual GLM-UCB 算法在线学习用户偏好,在最小化推理成本的同时以高概率保证响应质量满意度。
一篇博客文章系统分析了决策模型(如 Jev)的经济学,探讨其 choice/score/noul 输出类型、几乎免费的输出 token 成本,以及由此衍生的"决策层级"内存层级类比。
一个免费的浏览器端 LLM 成本计算器,让你对比本地 GPU 推理(内置 RTX 4070 Ti Super / 5090 预设)与云端 API 定价,指出缓存输入 token 的费率——这是其他计算器经常靠猜的数字——最能决定本地与云端的交叉点落在哪里。
推文讨论用开源的 MiniCPM-V 4.7 在自有硬件上做图像理解,避免每次上传图片都调用付费视觉 API 产生持续云成本,并介绍如何将其集成到 agent 工作流中。