标签
本文介绍了通过构建智能缓存网关（Hawiyat Composer）如何利用精确匹配缓存、语义缓存、模型路由和本地路由消除重复的token浪费，从而节省大量AI API成本。
正在构建一个用于代理AI工作流的开源API网关，提供多LLM和工具调用的可视化，跟踪令牌、成本和延迟，无需代码插桩。采用Rust和Go服务器配合Python关联器，寻求AI运维用户的合作与反馈。
作者分享了在 Hermes 下运行多个持久 AI 代理配置导致 API 成本高昂的经历，通过实施每个配置的分层模型策略、预处理输入以及使用 API 网关进行成本可视化，将每日成本从 14-18 美元降低到 7-10 美元。
OpenWA 是一个免费、开源的 WhatsApp API 网关，具有可插拔架构、多会话支持、Docker 部署以及完整的 React 仪表盘，让开发者完全掌控消息基础设施，避免供应商锁定。