LLM 评估工具对比：各自适合什么用途（7 款精选）
摘要
对七款热门 LLM 评估工具的比较，分为代码库（promptfoo、DeepEval、Ragas）和追踪/实验平台（Langfuse、Arize Phoenix、LangSmith、Braintrust）两类，并提供各工具适用场景的指导。
可以分为两类：在代码中运行的库，以及存储追踪记录和实验的平台。很多团队会各选一种。* **promptfoo**：通过 YAML 文件和命令行工具进行提示词回归测试和红队测试。结果默认存储在本地。* **DeepEval**：如果你喜欢 pytest，可以选它。你可以将评估编写为测试，并在 CI 中运行。* **Ragas**：适合评估检索质量以及回答是否有据可依。* **Langfuse**：提供开源追踪功能和以大语言模型为裁判的评分；如果数据不能离开你的服务器，也可以自行部署。* **Arize Phoenix**：提供基于 OpenTelemetry 的追踪功能，以及可在本地运行的评估。* **LangSmith**：如果你在用 LangChain 或 LangGraph，可以选它，不过不使用这两者也能用。* **Braintrust**：围绕数据集和实验对比构建的托管平台。属于商业产品，提供免费套餐。无论选哪一种，我都会先从真实流量中挑选几十个人工标注的样例，再考虑信任任何自动化指标。你们在 CI 中运行什么？
相似文章
@DanKornas: LLM 行为变化过于频繁，不能仅依赖少量人工抽查。DeepEval 是一个开源 Python 框架，用于评估……
DeepEval 是一个用于评估 LLM 应用的开源 Python 框架，提供现成的评估指标、Pytest 风格的工作流程以及 CI/CD 支持。
花数月研究LLM评估与可观测性平台，针对250人规模部署——分享我们的发现
基于数月研究，针对250人公司部署的LLM评估与可观测性平台详细对比，涵盖全栈平台、可观测性工具和开源框架。
大多数大语言模型评估工具是否仍然过于侧重提示词？
作者质疑当前的 LLM 评估工具是否过于关注孤立的提示词，而忽视了完整的工作流程和智能体交互，并指出逐步的准确性可能会掩盖生产环境中整体行为的偏差。
MicroLLM Lab – 在浏览器中试用7个微型语言模型
MicroLLM Lab是一个基于浏览器的工具，允许用户使用JavaScript对7个微型语言模型进行测试和基准测试，提供速度与准确性指标。
@ArizePhoenix：谁来评判评估者？当你使用LLM作为评判者时，你正在信任一个模型来决定你的代理、工作流……
本文讨论了使用Arize Phoenix调试和评估LLM评判者所面临的挑战，Arize Phoenix通过OpenTelemetry追踪评估者运行过程，以检查决策逻辑、成本和潜在偏差。