@ArizePhoenix：谁来评判评估者？当你使用LLM作为评判者时，你正在信任一个模型来决定你的代理、工作流……
摘要
本文讨论了使用Arize Phoenix调试和评估LLM评判者所面临的挑战，Arize Phoenix通过OpenTelemetry追踪评估者运行过程，以检查决策逻辑、成本和潜在偏差。
谁来评判评估者？当你使用LLM作为评判者时，你信任一个模型来决定你的代理、工作流或提示是否做了正确的事。但这引出了一个显而易见的问题：如何调试和评估这个评判者？在Arize Phoenix中，每次评估者运行都会通过OpenTelemetry自动追踪，并发送到一个专用的Phoenix项目。这意味着你可以精确检查你的评估者是如何做出决策的：→ 输入数据 → 发送给评判者LLM的确切提示 → 模型的推理过程 → 最终得分 → 执行时间、token用量和成本。如果你有一个生产环境中的代理，这一点尤其有用，因为你的评估也需要随之进化。检查系统性评估者偏差并使评估与人类判断保持一致变得越来越重要。就像你的代理需要随着时间的推移不断改进一样，你的评估也必须如此。
相似文章
@zihengh1: LLM-as-a-judge 现在在自动评估中无处不在。但它可能缓慢、昂贵且不透明。如果我们问...
介绍 PAJAMA，一种混合评估系统，通过提取评分标准并以编程方式执行，改进了 LLM-as-a-judge 方法，推动了速度、成本和透明度的帕累托前沿。
@akshay_pachaar: 如果你使用LLM作为评判，这篇内容就是为你准备的。（请收藏）大多数团队通过调用一个前沿…
详细介绍了一种训练小型LLM评判器来评估智能体输出的方法，取代了昂贵的前沿模型，并附带一个用于部署的Claude Code插件。
@ArizePhoenix: 机器学习中最古老的教训之一，对于使用 LLM 应用仍然非常有用：不要用相同的数据进行评估……
本文讨论了使用 Arize Phoenix 开发 LLM 应用的最佳实践，特别强调了使用训练集/验证集/测试集拆分来进行诚实评估和追踪回归的重要性。
JudgeArena：可复现的LLM裁判评估统一框架
JudgeArena是一个开源框架，将主要的LLM裁判基准统一在单一接口下，支持对裁判选择的系统研究，并提供与闭源模型相当或更优的开源模型裁判，同时能够模拟LMArena Elo分数。
移动智能体评估中的 LLM 评判器基准测试
本文介绍了 MobileJudgeBench，一个包含 931 条人工标注轨迹的基准，用于系统评估移动智能体任务中基于 LLM 的评判器。研究发现，带有采样屏幕截图的简单基线评判器可与专用方法相媲美甚至更优，而 LLM 主干是质量的主要驱动因素。