LLM-as-Judge的几何学：为何LLM间共识并非人类对齐

# LLM 作为评判者的几何特性：为何内部 LLM 共识并非人类对齐
来源：https://arxiv.org/abs/2606.03043
查看 PDF（https://arxiv.org/pdf/2606.03043）

> 摘要：LLM 作为评判者已成为标准做法，然而评判者之间相互高度一致，但与人类的一致性却较弱。我们通过测量标准 LLM 评判堆栈在四个社区构建的 Indic 数据集、八种 Indic 语言和 41 个 LLM 评判者上的四个几何量来检验这反映的是共享信号还是共享偏差：评分分布范围、有效秩、与人类子空间的主角度，以及评判者与人类之间的堆叠相关性，均附带自助法置信区间。在主观评分标准下，评判者使用的评分范围不足人类的一半（$\sigma_J / \sigma_H \approx 0.3$-$0.5$）。它们的评价轴与人类的几乎正交，且明显比人类彼此之间的轴距更远（$87^\circ$-$89^\circ$ 对比 $78^\circ$-$81^\circ$）。LLM 内部一致性超过 LLM 与人类的一致性（$r_{LL} \approx 0.35$ 对比 $r_{LH} \approx 0.27$-$0.32$）。在具有可验证事实答案的评分标准下，相同的诊断指标回落至人类范围（轴 $58.5^\circ$；$r_{LH} = 0.519$）。微调和偏好优化能恢复分布范围（$0.32 \rightarrow 1.08$），但几乎不改变轴的方向（仍为 $87^\circ$-$88^\circ$）。只有在基于少量人类锚定样本的事后校准下，所有四个社区健康评分标准才共同得到改善，使得校准后的 24B Indic 评判者（$r = 0.184$）优于 GPT-5.5（$r = 0.123$），但仍未达到人类可靠性（在可验证评分标准下人类之间的 $r = 0.474$）。我们认为，只有当评判者评分子空间的直接几何检验通过时，LLM 内部一致性才应被视为人类对齐的证据；否则，这种一致性反映的是塌缩子空间内的共识。

## 提交历史

来自：Sourabrata Mukherjee [查看邮件](https://arxiv.org/show-email/5aa1a3b3/2606.03043) **\[v1\]**2026年6月2日星期二 02:26:18 UTC (1,384 KB)