validity

本文对四个智能体安全基准（R-Judge、InjecAgent、AgentHarm、AgentDojo）在多个模型上进行了审计，表明它们的分数受能力混淆影响，指标存在伪影，且不同基准之间的排名相互矛盾，从而削弱了可互换的安全性声明。

本文认为，标准RLHF将人类偏好标量化的做法导致多个有效解释被压缩为单一目标，从而在文化多元的社会中错误衡量对齐。通过对马来西亚数据集的分析，研究发现79%的提示词存在多个多数支持的回答，而这些回答在单一胜者聚合中被丢弃。

介绍了生成-评估一致性（GEA），这是一种用于LLM驱动自适应评估的效度标准，并在一个两阶段自适应测试中对其进行了测量，发现该模型恢复了大约一半的预期方差，且存在系统性偏差。