标签
Neuralwatt 分析一个月云端流量发现，agent harness 如何构建 prompt 决定了大量 GPU 计算量：缓存命中率差异导致未缓存输入在 1.6% 到 11.1% 之间，一次缓存失效大致会让请求能耗翻倍，且这些问题多数可通过避免编辑已发送内容来修复。
微软的研究论文提出在用户轮次边界进行上下文感知的模型路由，发现将会话历史提供给路由器可在相同卸载率下提升多轮电子表格智能体的任务通过率，并分析了提示缓存切换的不对称成本与廉价模型的成本优势衰减。
一位自动化机构从业者逐项拆解4分钟语音外呼的真实成本（约39美分），指出平台费占一半、LLM仅占10%，并建议开启提示词缓存、裁剪工具返回结果，而非一味更换便宜模型。
一位推主根据 Anthropic 工程师 Lydia Hallie 的官方解释，澄清了 Claude Code 的 auto-compact 机制：默认在接近 967K 上下文时才触发压缩，导致长任务持续携带巨量上下文而快速消耗 5 小时配额。文中建议通过 /autocompact 400k、autoCompactWindow、promptCacheTtl 等配置提前压缩并优化缓存。
Asana 表示，通过稳定页面历史记录以启用提示缓存，并批量裁剪截图（而非更换底层模型），将浏览器智能体工作流的模型成本降低了 76 倍（每次运行从 36.21 美元降至 0.47 美元），运行时间也从 22.5 分钟缩短到约 4 分钟。
Raft Computer 1.0.40 引入了构造式初始上下文（constructed initial context）机制：当长时间空闲的 agent 会话重启时，不再重新缓存已过期的上下文，而是直接从会话记录中恢复，从而将冷启动成本降低 60%，单次请求成本降低 29%，同时保持连续性不受破坏。
Obie Fernandes 指出，Claude Code 的提示缓存在你最后一条消息后一小时就会过期，一旦离开会话，重新开始时就要以全价重新读取全部内容，代价很高。他分享了一个插件，会在第 50 分钟缓存仍然有效时自动写一份交接文档。
作者以系列推文的形式分享 OpenAI DevDay 的参会笔记，首先介绍了优化 agentic 应用成本与性能的四个关键手段：prompt 缓存、推理力度、程序化工具调用以及批量请求，并建议用户通过评测（evals）来衡量这些手段的效果。
OpenAI 发布了一份关于如何基于 GPT-6 模型系列进行开发的实用指南，涵盖模型选择、推理强度、提示词缓存、上下文压缩，以及在生产环境中管理长时间运行的智能体工作流等内容。
作者在为财务智能体添加 Agent Skills 支持时，总结了三个需要分离的架构决策：服务器端加载方式、模型上下文可见性、以及工具可用时机，并指出技能加载只教工作流而非安装能力。
Devin 的最新更新让这款 AI 软件工程智能体的成本降低了 30% 到 70%，具体幅度取决于运行模式，实现方式是集成 SWE-2 等最新模型，并通过批处理工具调用和改进提示词缓存来优化其运行框架；同时，Devin Fusion 目前在 FrontierCode 1.1 Extended 基准测试中以每任务 0.60 美元的成本位居前列。
Henry Broomfield分享了OpenAI提示缓存的最近改进，包括提高应用程序缓存命中率的技巧。
基于个人在Qwen 27B 3.8上的经验，建议增加llama.cpp的-cram参数，以在长上下文的代理工作流中获得更好性能。
本文探讨了生产环境AI智能体中上下文压缩与提示缓存之间的权衡，提出使用子代理作为策略，以保持缓存效率并减少上下文污染。
Claudebill 是一款命令行工具，可读取 Claude Code 会话日志，展示各会话、项目、Git 分支、模型及日的成本分项，涵盖提示缓存节省，并支持离线运行且无需依赖。
一位开发者描述了一种用于动态模拟中AI智能体的技术，其中动作模式每个回合都会变化，将其放在最后一条用户消息中以保留提示缓存效率，并比较了各种模型和输出模式。
OpenAI的提示缓存将请求成本降低了90%，但缓存密钥限制为每秒15次请求。Unify GTM构建了一个自定义路由解决方案来绕过这个限制，实现了95%的缓存命中率。
文章指出，通过提示缓存，较长且稳定的提示可能比频繁更改的短提示更便宜，分享了运行具有高缓存命中率的AI智能体的见解。
该文章介绍了一种通过将Claude Code接入DeepSeek API来实现低成本AI编程代理的方案，该方案利用提示词缓存技术显著降低token消耗成本，同时保持高水平的推理能力。