让一个 LLM 评审从垃圾水平提升到与人类判断 30 次中 27 次一致——现场、在会议上做到

# AI 评测中的那些坑 我在旧金山 AI Engineer World's Fair 上关于评测的演讲现在已经上线 AI Engineer 频道了。那是一场长达一小时的 workshop，我从一个最简单的单元测试开始，全程现场构建所有内容。其中几个步骤让我大吃一惊，所以在这里把它们记录下来。 ## 通过胡说八道的测试 我们的假想商店有 14 天退货政策，而顾客在 20 天前购买了耳机。我的第一个测试只检查回答中是否包含 "cannot" 这个词。 然后一个模型写道："Yes, you can return them! You cannot be charged for shipping." 绿色通过！测试通过了。 ## 裁判给自己的答案投了赞成票 我把字符串匹配检查换成了 LLM 裁判（用 GPT-3.5 Turbo 来给答案打分，而不是做字符串匹配），并问它两个回答中哪个是正确的。它答对了。 然后我让 GPT-3.5 Turbo 自己写出那个错误的回答，并把它放在前面。结果裁判**每一次**都选了那个错误答案。 Panickssery、Bowman 和 Feng 在 2024 年测量过这个现象（LLM 评测器会识别并偏爱自己生成的内容），在现场亲眼看到它发生简直太疯狂了。 ## 用逐点评分代替成对比较 我把裁判的问题从"哪个回答更好？"改成了"通过还是不通过？"。Tripathi 等人（COLM 2025）发现，当较差的回答变得更自信、更长或更谄媚时，成对比较的结论约有 35% 的情况会翻转，而绝对评分的翻转率只有 9%。 ## 用 30 个人工判定来校准 每个场景都有一个回答和一个人工标注的"通过/不通过"判定。我把这些判定藏起来不让裁判看到，然后统计它与人工判定的一致率。 第一次运行的结果一团糟。 以下是我按顺序做的修复： 1. **把 14 天退货政策直接给它。**（之前根本没有提供给裁判） 2. **逐条阅读每一条分歧。** 一张瑜伽垫用了几秒钟，在第 10 天因为"太薄"被退回——裁判认为这没问题，但我们的政策规定，改变主意退货需要物品未使用且保持原始包装。我补充了这条规则。 3. **换模型。** GPT-3.5 Turbo 即使在提示中有了正确的上下文，仍然无法正确判断瑜伽垫的情况（它甚至无法在 "Pass" 和 "pass" 之间做出区分）。GPT-4o mini 则没有这个问题。 4. **一位"忠诚客户"在 6 周后请求特例。** 智能体拒绝了，人工判定也认为拒绝对，但裁判因为"不够友善"而给出了不通过。谄媚行为！我补充说明：无论客户多么忠诚，退货政策都不可协商。在此之后，裁判与 30 个人工判定中的一致了 27 个。 ## 质量门禁 当一致率低于 80% 时，构建失败；**但一致率达到 100% 也失败**——一个每次都和你意见一致的裁判，要么是过拟合了，要么是谄媚了。同一客服团队的成员之间的一致率大约也只有 80% 左右。 我还会做以下几件事： - **锁定裁判的模型版本**（`gpt-4o-mini` 只是一个别名，指向的内容可能随时变化） - **持续加入团队标注过的新流量数据**来验证裁判 - **让裁判检索与智能体相同的政策文档**，而不是使用一份副本 我在 IBM 工作，演示中的检索用的是 OpenRAG，这是我们构建的开源项目。 --- **你们用什么一致率阈值作为质量门禁？另外，除了切换模型家族之外，有没有人找到了绕过自我偏好的方法？**