self-preference

本文研究了由自我与他者标签在LLM评审中引发的双向偏见，表明仅标签就能改变评估分数，无论实际来源如何，这对理解作者归属和受控评估任务有贡献。

介绍了Eval-Pair Matrix，一种针对有源检索增强生成（RAG）的受控元评估协议，通过诱导隐藏矛盾来检测LLM评判者的自我宽容性。研究发现同模型效应极小，并强调了对RAG评判者研究方法论的改进。

本文引入结构不确定性框架，通过测量采样推理解中自偏好排名的稳定性来评估LLM推理一致性，补充了传统的答案离散度方法，用于识别不可靠的推理。