@alex_prompter: 这个开源代理无需改动一行代码就能降低你的AI agent成本。Plano位于你的agent和你的…

X AI KOLs Timeline 工具
open-source proxy cost-cutting ai-agent routing guardrail observability

摘要

Plano是一个开源代理，位于AI agent和LLM提供商之间，通过智能路由、护栏过滤和成本感知选择来降低成本，所有配置通过单个YAML文件完成，无需修改agent代码。

这个开源代理无需改动一行代码就能降低你的AI agent成本。 Plano位于你的agent和你的LLM提供商之间。每个请求都会经过它。你的agent不知道它的存在。 它处理四件事：在请求到达模型之前的护栏过滤；根据难度将每个提示匹配到合适模型的智能路由；当多个模型符合条件时的成本感知选择；以及将优胜者固定到会话中的模型亲和性，从而保持你的提示缓存温暖。 所有这些都通过一个YAML配置文件运行。更换模型、更改偏好、添加护栏——无需触碰你的agent代码。 路由基于Arch-Router，这是一个1.5B参数的模型，训练数据来自开发者针对每种任务类型的实际选择。因此路由反映的是真实世界的偏好，而非基准排名。 它还附带一个可观测性控制台，显示每个请求由哪个模型回答以及花费了多少。如果你曾好奇你的API预算花在了哪里，仅此一项就值得设置。 6.7k星标。支持OpenAI、Anthropic、Gemini、Mistral等。
查看原文
查看缓存全文

缓存时间: 2026/07/12 12:55

这款开源代理无需改动一行代码，即可降低你的AI代理成本。

Plano位于你的代理与LLM提供商之间。每个请求都会经过它，但你的代理对此毫无察觉。

它处理四项任务：在请求到达模型前进行护栏过滤；智能路由根据难度将每个提示匹配到合适的模型；当多个模型满足条件时进行成本感知选择；以及模型亲和性——将选定模型锁定到会话中，从而保持提示缓存的热度。

所有配置均通过一个YAML文件完成。更换模型、调整偏好、添加护栏，都不需要碰你的代理代码。

路由功能基于Arch-Router运行，这是一个1.5B参数模型，经过了开发者针对各类任务实际选择偏好的训练。因此路由反映的是真实世界的偏好，而非基准测试排名。

它还附带一个可观测性控制台，显示每个请求由哪个模型回答以及花费了多少。如果你曾好奇API预算都花在了哪里，单凭这一功能就值得配置它。

🌟 6.7k Stars。支持OpenAI、Anthropic、Gemini、Mistral等模型。

相似文章