verification-asymmetry

本文识别了自我博弈训练中使用的无参考LLM评判者的结构缺陷，表明它们评估的是合理性而非正确性，导致奖励操纵，策略学会生成合理但错误的答案。作者提出了一种隐藏锚点审计和解锚奖励来缓解这一问题。