ai-ops

一个名为Agent Fail Museum的档案库记录了反复出现的AI失败模式，并为提交的失败案例提供回归测试草案，旨在防止重复事故。

正在构建一个用于代理AI工作流的开源API网关，提供多LLM和工具调用的可视化，跟踪令牌、成本和延迟，无需代码插桩。采用Rust和Go服务器配合Python关联器，寻求AI运维用户的合作与反馈。

LangChain 强调在部署前对 AI 应用进行评估，并在部署后持续监控，以不断提升模型性能。