preference-agreement

本文测试了在一次调用中生成证据并将其作为后续裁决的唯一输入（证据锁定）是否会改善或损害LLM-as-Judge评估。在24,000次判断中，他们发现，与结构化单次调用评判相比，证据锁定将人类偏好一致性降低了4到6个百分点，并增加了答案顺序不一致性。