标签
一条推文推测，一旦GPT-5.6 Sol可用，OpenAI可以通过以更低成本提供类似或更好的智能来超越Anthropic，将竞争转向成本竞争。
亚利桑那州立大学的Subbarao Kambhampati教授及研究人员在一篇立场论文中提出，LLM中的思维链推理制造了一种推理假象，业界需要超越昂贵的token生成，转向替代推理机制。
文章认为，企业应该对自定义AI模型进行后训练，用于关键任务、高容量的用例，以实现差异化、节省成本并对权衡进行控制，而不是仅仅依赖通用前沿模型。
TokenPilot是一个双粒度上下文管理框架，通过稳定提示前缀和保守管理上下文片段，降低长时程LLM会话中的推理成本。在基准测试中实现了61-87%的成本降低，同时保持竞争性性能。
一篇技术指南，展示如何使用简单的粗略估算来估计大规模服务AI模型的成本，涵盖GPU带宽、矩阵乘法、令牌定价和用户容量。
一位开发者分享了从补贴的OpenAI Codex切换到OpenRouter后AI推理成本的经历，引发了关于当前LLM定价模式可持续性的讨论，以及可能转向开源自托管的趋势。
本文提出训练行为预测器，从单条推理轨迹预测大型推理模型的输出，在计算成本更低的情况下优于GPT-5.4和Claude Opus-4.6等大型语言模型，绕过了传统的可解释性方法。
一份指南，解释如何通过将固定流程编译成更小的微调模型，而不是反复提示前沿模型，从而使代理工作流成本降低高达462倍。
本文展示了代理工作流可以蒸馏到小型微调模型中，在实现接近前沿质量的同时，与编排方法相比将推理成本降低两个数量级。
针对四款 30B 级别的稠密模型与 MoE 模型的实证研究显示，Gemma-4 26B MoE 在处理相同推理任务时，仅需 1.9–15 Wh 的能耗即可实现同等精度；而稠密模型及更大规模的 MoE 变体在该场景下的功耗最高可达 34 Wh。