花数月研究LLM评估与可观测性平台，针对250人规模部署——分享我们的发现

我们一直在为公司（250人）寻找一款AI评估工具以投入使用，因此进行了相当多的研究。看过Reddit上不少这类清单，发现它们有时说得很矛盾，或者与我们深入挖掘每个工具后的发现不完全吻合——所以我想分享一下我们的收获，希望能对同样经历这个过程的人有所帮助。我不声称这是详尽无遗或绝对正确的，只是我们目前拼凑出的信息。据我们目前所知，现在大约有4类工具：全栈可观测性+评估平台、更偏重可观测性的工具、开源评估框架，以及增加AI支持的传统ML平台。这只是我们的看法，但第一类似乎最适合我们，因为它们感觉是从头开始为这个目的构建的，而不是后来添加的——虽然这可能只是反映了我们的特定用例。 1. 全栈LLM评估与可观测性平台 Braintrust：看起来很适合专注于实验、Playground工作流以及迭代提示或智能体组件的产品团队。也支持许多可观测性工作流，但从我们看到的情况来看，实验可能需要在平台内重建部分智能体，而且在多团队企业使用的治理功能方面显得较轻。 Confident AI：看起来非常适合试图跨产品团队标准化评估和可观测性的企业团队。其评估指标有研究支持，并且支持红队测试和治理，这对我们很重要。对于尚未建立全组织评估标准的小团队来说，可能较难证明其合理性，而且可观测性定价似乎不太可预测。这是我们一直倾向的一款，尽管我们仍在最终确定。 LangSmith：如果你已经深入LangChain/LangGraph生态系统并希望在该栈内标准化管道，那么可能是正确的选择。它专为评估和可观测性而构建，并且由于该生态系统的规模而被广泛使用。值得注意生态系统锁定问题，如果你没有完全致力于LangChain。 Maxim AI：如果你想要AI驱动的智能体模拟、多模态跟踪和可选的LLM网关（Bifrost），那么它很有趣。但它比其他工具更新，因此在标准化整个组织的评估/可观测性方面感觉不够成熟——鉴于它发展迅速，这点需要审慎看待。 2. 可观测性优先的工具 Arize：在可观测性优先的AI/LLM工作流方面似乎很扎实，带有开源OTEL包。从传统ML监控起步并扩展到AI——感觉灵活且企业就绪，尽管我们猜测更定制化的工作流仍需自定义仪表化。 Datadog：如果你想要具有真正细粒度仪表化的传统可观测性，那么很好，但老实说感觉可能很嘈杂且难以导航。感觉不如一些更AI原生的工具那样专为AI工作流/评估而构建。 HoneyHive：似乎适合主要关注生产监控的团队。从我们看到的来看，评估方面稍弱，但UI确实很好。 Laminar：较新且不太流行，但比Langfuse更偏向智能体中心。使用AI分析跟踪（有点像Arize），专注于智能体跟踪/流程可见性。 Langfuse：如果你想快速启动LLM可观测性，是流行的开源选择。感觉可观测性比评估更重，在更深层的可观测性工作流方面可能不如Arize成熟，但如果你重视快速设置和开源灵活性，则很好。 3. 开源评估框架 DeepEval：用于对LLM应用进行单元测试的开源框架，由Confident AI构建。在RAG指标、智能体指标、对话指标、自定义LLM作为评判的指标以及通过其Pytest集成实现CI/CD方面表现强劲。 OpenAI Evals：用于评估LLM和智能体行为的开源框架——支持多轮对话、工具调用、自定义评分器。似乎是模型级和任务级评估的合理基线，如果你处理更复杂的智能体轨迹，可能比Promptfoo更适合。 Promptfoo：轻量级、代码优先，适合提示/模型回归测试，并有强大的红队测试模块。方便在CI中比较提示/提供商/输出。值得注意的是，它现在由OpenAI拥有，但仍然是开源的（MIT）。 RAGAS：专门专注于RAG评估——忠实性、答案相关性、上下文精确率/召回率、检索质量。可能是其中RAG特定指标最深的，但它本身更像是一个指标库，而不是完整的评估系统。不再维护。 4. 转型的传统ML平台 MLflow：广泛使用的开源MLOps平台——实验跟踪、模型注册、部署、模型评估。已添加LLM跟踪和AI网关，因此如果你的团队已经标准化使用它，可能是有意义的。 Weights & Biases Weave：在W&B现有跟踪平台之上构建的LLM可观测性/评估层。如果你的团队已在W&B生态系统中，是不错的选择，尽管LLM特定指标覆盖范围似乎比一些专用评估平台更年轻。 Comet (Opik)：Opik是Comet的开源LLM评估/可观测性工具——跟踪、数据集、实验、LLM作为评判、调试。如果你已经在使用Comet进行ML实验跟踪，可能很适合。 Galileo：企业级，围绕低延迟护栏模型（Luna）构建，用于实时生产监控，特别是在受监管环境中。值得一提的是，Cisco最近收购了他们，他们正在被整合到Splunk的可观测性套件中，因此路线图未来如何发展还存在一些不确定性。 老实说，什么"最好"似乎很大程度上取决于你的出发点——LangChain原生 vs. 框架无关，开源 vs. 想要真正的企业支持，提示迭代 vs. 生产监控。只是分享，希望可以节省其他人的时间——我真的很想知道什么对其他人有效，因为我确信我们遗漏了一些东西。