标签
> **演讲总结**：这是作者在 AI Engineer World's Fair 上关于 evals（评估）的演讲总结，记录了如何将一个 LLM 评审器（LLM judge）从完全不可用提升到与人类判断 30 次中有 27 次一致：包括改用点式评分（point-wise scoring）避免偏好偏差、校准上下文（context calibration）、更换模型以及应对谄媚倾向（sycophancy）等步骤。
本文研究了由自我与他者标签在LLM评审中引发的双向偏见，表明仅标签就能改变评估分数，无论实际来源如何，这对理解作者归属和受控评估任务有贡献。
介绍了Eval-Pair Matrix，一种针对有源检索增强生成（RAG）的受控元评估协议，通过诱导隐藏矛盾来检测LLM评判者的自我宽容性。研究发现同模型效应极小，并强调了对RAG评判者研究方法论的改进。
本文引入结构不确定性框架，通过测量采样推理解中自偏好排名的稳定性来评估LLM推理一致性，补充了传统的答案离散度方法，用于识别不可靠的推理。