代理工作流可视化与API网关

我正在构建一个用于代理的API网关，使其能够实现代理AI代码的模型和提供商无关。同时，我将多个LLM调用和工具调用的代理运行分组到可视化组件中，提供令牌、成本和模型延迟的详细信息。我无需在代理代码中进行任何插桩即可实现这一点。代理（目前为Python）由Rust关联器启动，该关联器为每个代理分配一个job\_id，以便我们能够追踪整个代理运行过程中的API和工具调用（从HTTP请求和响应推断）。服务器同样使用Rust。此外，我还有另一种实现方式，即使用Python和其他平台适配器替代Rust关联器完成相同工作，服务器则使用Go。我非常希望听到来自AI运维领域的用户（如使用litellm和Helicone等工具的用户）的意见，他们可以提供反馈或复杂用例。我计划将所有内容开源，因此也在寻找合作者。