caching

shad0w 是一个轻量级缓存代理，部署在任何兼容 OpenAI 接口的本地 LLM 服务器前端，学习模型的分类答案，并在约 1,000 个样本后编译出一张查询表，以微秒级速度响应重复查询，保证与模型答案的一致率达到 95% 以上。采用 Apache-2.0 许可证，以 Python/JS/C 编写，并提供了一个演示，展示它如何从 LLM 的操作中学会玩贪吃蛇。

Next.js 16.4 推出，官方推荐将 Cache Components（基于 'use cache' 的可组合缓存模型）作为所有 Next.js 应用的最佳选择，并将在 Next.js 17 成为默认。新版本还包含 ensureStatic、'next upgrade --agent' 迁移工具、更低的内存占用与编译时间，以及 React 19.3 支持。

Once 是一个用 Go 编写的 CLI 工具，通过后台守护进程缓存命令输出，避免重复执行昂贵或需要生物识别验证的命令（如 1Password 的 op read），支持 TTL、租户键和目录无关缓存等选项。

运行一个由OpenClaw和GLM 5.3 Flash驱动的Discord代理23小时，导致在1M上下文窗口约65%处出现故障，暴露了重负载下的缓存和模型性能问题。

Vinext 1.0 是一个生产就绪框架，使开发者能够在 Vite 上运行 Next.js 应用程序，并在兼容性、稳定性和缓存方面取得了进步。

MorrowCache 是一个本地的、与 OpenAI 兼容的代理，它基于意图相似性缓存 AI 模型响应，以减少延迟和令牌成本，使用一个仲裁器来检查缓存的答案。

Cloudflare宣布支持HTTP Vary头，解决了针对内容协商响应的长期缓存问题。作者Simon Willison讨论了这一改进以及他使用基于URL的内容协商的替代方法。

Cloudflare在其缓存规则中推出了对HTTP Vary头的支持，使用户能够控制缓存如何根据请求头处理内容变化。

作者解释了他们如何通过利用Redis哈希槽来正确处理Redis集群中的批操作，从而优化了配送服务的路由引擎延迟。

Redis LangCache 是一种语义缓存工具，通过存储和重用类似的问题-响应对，将 LLM 成本降低高达 70%，使 AI 应用程序更快、更具成本效益。

这篇博客文章讨论了使用 Redis 和 H3 六边形坐标为零工经济配送应用中的路由引擎估计提供缓存解决方案，并着重介绍了 Redis 集群键分布和多键命令所面临的挑战。

Miri，一个 Rust 工具，在目标目录中存储所有环境变量，当在 GitHub Actions 中缓存时，可能将秘密泄露给拉取请求。Rust 团队已实施修复，仅保留特定变量，并建议用户检查他们的 CI 设置以查找漏洞。

一个用于OpenCode的插件，通过保留缓存优化上下文压缩，显著加速本地LLM的处理过程。

一位开发者构建了一个路由器以降低AI智能体成本，但发现它只会升级请求，导致开销增加；有效的节省来自缓存而非路由。

这条推文表达了对 DSV4.1 中 Engram 表格的兴奋之情，强调了它们在压缩和缓存技术中的作用。

该推文称赞 DeepSeek Harness 实现了惊人的 99% 缓存命中率，突出了其在系统性能方面的高效性。

Google AI发布了一个新版本的Gemini managed agents，成本降低高达30%，缓存改进，用于文件管理的Files API，以及用于安全访问外部服务的Credentials API，包括用于实验的免费层。

作者更新了一个使用 Gemini Flash Lite 的只读分析代理项目，讨论了缓存效率低下和双语路由的挑战，并寻求日期处理的建议。

本文比较了两种 C++ 技术：魔法静态变量和 std::call_once，用于缓存计算，并解释了根据作用域和初始化等因素何时使用哪种技术。

CloudX 已开源一个替代 GitHub actions/setup-go 的工具，通过优化缓存机制，可将 Golang CI 工作流速度提升最高 69%。