展示 HN：我们开发了一个开放的 OpenRouter，能够通过使用数据来优化模型性能。

嗨 HN，我们打造了一个开源的模型网关。它是一个统一的地方，可以管理我们自托管的前沿模型和开源模型。<p>它原生采用Rust编写，专为并发性设计，并实现了所有模型和提供商之间的配置差异（流格式、工具调用、模型参数、速率限制和不同的错误行为）。<p>对于自带密钥请求，网关增加的延迟低于1毫秒；当Experiential提供提供商密钥时，延迟低于2毫秒。它支持所有主要的推理提供商，并通过codex代理每天刷新1000多个模型，该代理会开启PR。<p>与其他类似项目相比，我们是开源的，不收取加价，允许您将本地模型与市场混合使用，并使用您的流量（可选）来训练您的模型。简单的路由不值得10%的令牌加价。<p>我们的方法是：在获得标准化的OTel跟踪后，我们挖掘代表性的真实任务，使用文本世界模型模拟各种模型的展开，应用LLM评判器，并在提示嵌入上拟合最近邻分类器，以决定每个请求的最佳模型。通常，这可以在成本/质量上绘制出比仅调用单个模型更好的Pareto曲线，但它并不完美。<p>利用这些模拟，我们还可以做诸如建议缓存命中优化、新模型建议和训练模型等工作。<p>它是开源的，因此您可以在自己的基础设施上部署，使用我们零加价的托管版本，或在我们的网站上阅读我们如何设计以实现最大可用性。