标签
GitHub Copilot 现在使用提示缓存、工具搜索和自动模型选择（HyDRA）来降低成本并提高效率，实现了 3.3 倍的节省，同时与 OpenRouter Auto 的解决率相匹配。
一个实践性讨论，质疑提示缓存是否能为生产环境中的AI代理带来有意义的成本节约，审视了现实因素如缓存命中率、路由策略和规模。
CacheBlend，EuroSys 2025 最佳论文，解决了由于提示缓存中严格的前缀匹配导致 90% 的 KV 缓存从未被重用的问题。通过选择性地仅重新计算文档之间的边界令牌，它在不损失质量的情况下实现了 2-4 倍的多文档处理速度提升，并在开源 LMCache 层中实现。
解释了在代理任务中，由于缓存预热问题，模型路由可能无法节省成本，并介绍了一种生产环境下的解决方案——模型亲和性（Model Affinity），以及开源代理Plano，从而实现真正的成本节约。
研究人员提出了可编程KV缓存（Programmable KV Cache），这是一种用于编辑和组合KV缓存的方法，旨在避免LLM智能体推理过程中重新预填充长上下文，在保持决策一致性的同时，将p90首令牌时间减少了53至398倍。
一名开发者使用Claude Sonnet 4.6构建了一个AI智能体，为一家7家分店的寿司连锁店处理Instagram私信订单，并利用提示缓存在降低成本的同时保持高效。
一篇文章讨论提示缓存如何大幅降低LLM API成本，指出提供商对此解释不足，并提供一个简单的规则来构建提示以获得最大缓存命中率。
Claude is now officially available on Microsoft Foundry, allowing Azure accounts to use it directly with existing authentication, billing, and compliance. The initial rollout includes Claude Opus 4.8 and Haiku 4.5, supporting prompt caching and extended thinking.
Alex 是 LangChain 团队的新成员，发表了一篇文章，解释 Deep Agents 如何使用提示缓存来降低 API 成本。
Anthropic 发布了 Fable 5，这是一款价格高昂的强大新模型，由于令牌扇出和高输出成本，使得成本感知路由对代理构建者来说至关重要。
作者分享了一个实用技巧，通过提示缓存（prompt caching）在长时间智能体运行中将输入token成本降低约90%：将不变文本（系统提示、工具定义、上下文）放在每个提示的开头，以利用LLM提供商的缓存前缀。
对四个代理运行时（Claude Code、OpenClaw、Hermes 和 OpenClacky）在相同任务上的令牌消耗进行比较显示，相对于 Claude Code，成本从0.8倍到4倍不等，这由缓存架构和工具模式设计的差异驱动。
本文介绍了通过提示词缓存、精简上下文、多模型路由（将日常编码任务交给Kimi 2.6，核心架构用高级模型）等策略，将AI编程成本削减80%的实用技巧。
本帖子分享了减少AI代理中Token使用的策略，包括提示缓存、上下文摘要、使用较小模型、修剪工具输出、子代理、RAG以及紧凑的系统提示。
一份实用指南，解释Claude Code中的提示缓存工作原理，如何将Token成本降低90%，以及常见的破坏缓存的习惯，帮助开发者延长会话时长并降低成本。
解释了缓存增强生成（CAG）作为一种将静态知识直接缓存到模型 KV 内存中的方法，与传统 RAG 相比，可降低延迟和成本，并展示了如何将两者结合以获得最佳性能。
文章认为，AI的真正挑战不仅在于构建更智能的模型，更在于以规模化的方式降低成本效率，强调了减少token使用、提升速度以及优化基础设施的重要性。