self-preference

介绍了Eval-Pair Matrix，一种针对有源检索增强生成（RAG）的受控元评估协议，通过诱导隐藏矛盾来检测LLM评判者的自我宽容性。研究发现同模型效应极小，并强调了对RAG评判者研究方法论的改进。

本文引入结构不确定性框架，通过测量采样推理解中自偏好排名的稳定性来评估LLM推理一致性，补充了传统的答案离散度方法，用于识别不可靠的推理。