相同的问题，不同的措辞，你依然要付双倍费用：我为此搭建了一个代理

Reddit r/AI_Agents 工具
caching proxy openai-compatible intent-checking local-ai latency-reduction cost-saving

摘要

MorrowCache 是一个本地的、与 OpenAI 兼容的代理，它基于意图相似性缓存 AI 模型响应，以减少延迟和令牌成本，使用一个仲裁器来检查缓存的答案。

为什么你需要这个？智能体和应用程序整天以不同的措辞重复询问同样的问题。每次你都等待模型响应，并为一个已经拥有的答案支付全额费用。这纯粹是在延迟和令牌上的浪费。MorrowCache 的作用是一个本地的、与 OpenAI 兼容的代理。将 baseURL 指向它。在到达你的模型之前，一个仲裁器会检查：是否与缓存的答案有相同的意图？ • 是 → 命中，重用回复，跳过上游调用（更快且更便宜） • 否 → 未命中，调用模型一次，存储它 • 仲裁器失败 → 开放失败，仍然调用模型，这样你就不会卡住 选择你的仲裁器 • 云端 Jev（默认）• 或本地 Kev / Laya / System One：ADJUDICATOR=kev|laya|systemone 相同的缓存，你的模型，你选择的仲裁器。不是余弦嵌入的模糊匹配：而是实际的相同意图检查。来自记录运行的证明：2817ms 未命中 → 423ms 命中于一个转述问题（约 6.7 倍更快）。未命中是全额账单。命中几乎是免费延迟。告诉我哪里出了问题
查看原文

相似文章

缓存如何每月帮我们节省数百美元的AI成本

Reddit r/AI_Agents

本文介绍了通过构建智能缓存网关（Hawiyat Composer）如何利用精确匹配缓存、语义缓存、模型路由和本地路由消除重复的token浪费，从而节省大量AI API成本。

API 中的提示词缓存

OpenAI Blog

OpenAI 推出提示词缓存功能，这是一项自动特性，通过在 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 模型上重用最近缓存的输入令牌，可将 API 成本降低 50% 并改善延迟。该功能会自动应用于超过 1,024 个令牌的提示词，无需开发者进行集成更改。