我花了大约4.5个月构建了一个免费、自托管的AI网关：一个端点连接237家服务商（其中90多个免费），自动回退，以及一个令牌压缩管道（MIT许可）

分享一个我投入了大约4.5个月的开源项目（声明：我是维护者；根据自荐规则，我会把链接放在第一条评论中，并确保此贴内容充实）。这个项目源于我每天遇到的两个问题：AI运行因服务商速率限制而中断，以及将工具/日志输出倾入上下文窗口时浪费数千个令牌。一个端点，237家服务商——其中90多家提供免费服务。您只需将任何工具或代理指向一个兼容OpenAI的单一端点（localhost:20128/v1），即可连接237家LLM服务商，无需重写任何代码。90多家有免费层级，其中11家永久免费（无需信用卡），合计每月约16亿个有据可查的免费令牌——这是诚实、去重后的计算结果（我们每个共享池只计算一次，而不是夸大总数；方法已公开在仓库中）。提供一键设置*，支持13多种编码工具（Claude Code、Codex、Cursor、Cline、Roo、Kilo、Gemini CLI等），因此切换现有设置只需几秒钟。回退组合——确保任务永不中断。“组合”是一个模型阶梯，路由器自动遍历：首先使用您的订阅，然后是API密钥，接着是廉价模型，最后是免费模型。当服务商返回500错误或触发速率限制时，它会毫秒级滑向下一个目标，请求中途进行，您的工具甚至从未看到错误。提供17种路由策略（优先级、加权、轮询、成本优化、自动/编码：快等），以及三层弹性机制——每个服务商的熔断器、每个密钥的冷却期和每个模型的锁定——因此一个失效的密钥不会拖垮整个服务商。一个10引擎压缩管道——这是大多数路由器所没有的功能。每个请求都会经过一个透明的压缩步骤，您可以针对每个组合进行开关或堆叠。它并非单一技巧，而是堆叠了开源生态中的最佳方案：RTK以60–90%的比例过滤命令/工具输出（git差异、测试日志、构建信息）；Microsoft的LLMLingua-2进行机器学习语义剪枝；Caveman处理散文；session-dedup去除跨轮次的重复内容。关键是，代码、URL和JSON会逐字节保留，并且默认开启的膨胀保护会在压缩反而增加提示时丢弃压缩版本而发送原始版本——它绝不会让情况变得更糟。在工具密集型会话中，平均输入令牌减少约89%（一个8k令牌的git diff会变成几百个令牌）。所有上游项目（RTK、Caveman、LLMLingua-2、Troglodita）的完整致谢都在README中。Agent原生支持——agent自身可以驱动路由器。内置MCP服务器（95个工具，覆盖30个审计范围，通过stdio/SSE/streamable-HTTP），并支持A2A（v0.3，JSON-RPC 2.0）。这意味着agent可以查询服务商、切换组合、读取自己的剩余配额并通过网关管理内存，而不仅仅是消耗令牌。作为是否值得您花时间的背景：该项目在约4.5个月内已增长到约9.8K个GitHub星标、1,490多个分支和280多个贡献者，拥有21,000多个自动化测试，并关闭了1,830多个问题——因此这是一个经过实战检验的项目，而非全新的实验。很高兴深入探讨路由引擎、诚实的免费层级计算，或者压缩管道如何决定哪些内容可以安全压缩。仓库和安装说明见第一条评论。