标签
本文介绍了群体对齐诱发的谄媚行为（GAS），这是一个双侧评估框架，用于在将大语言模型与人口统计群体对齐时，同时衡量意见对齐的预期增益和谄媚行为的非预期变化，并发现这些效应是非均匀且具有群体特异性的。
介绍Rushes，一个大规模数据集，记录了人类在AI生成的分支叙事中的参与偏好。结果表明，当前如GPT-5等大语言模型在预测用户选择方面甚至无法超越简单基线，凸显了个性化对齐的必要性。
介绍PEBS，一种用于RLHF中奖励模型校准的每个评分者经验贝叶斯收缩估计器，在PRISM上将用户内RMSE降低了超过8.5%，在PluriHarms上降低了超过9.6%。
介绍了SCPO，一种新颖的奖励模型训练算法，它以平衡的方式整合了多样化的文化偏好，在基线之上取得了高达7个百分点的改进和280%的数据效率提升。
本文认为，标准RLHF将人类偏好标量化的做法导致多个有效解释被压缩为单一目标，从而在文化多元的社会中错误衡量对齐。通过对马来西亚数据集的分析，研究发现79%的提示词存在多个多数支持的回答，而这些回答在单一胜者聚合中被丢弃。
本文主张，在AI价值对齐中聚合道德评估时必须考虑语境因素，表明忽略语境可能导致违反弱帕累托原则，类似于辛普森悖论。
本文引入内部一致性最大化（ICM）方法，无需人工监督即可生成针对特定角色的示例，用于将AI与多样化的人类价值观对齐，并证明一致性示例在多个基准测试中具有更好的泛化能力。
本文提出了一种基于角色的评估框架，利用合成认知档案代表不同人类视角，用于生成式AI的多元对齐，解决了单一基准测试的局限性。
本文介绍了DVMap，一个用于大语言模型细粒度多元价值对齐的框架，它使用高共识的人口统计-价值映射，而非粗略的国家标签，从而在跨人口统计、跨国家和跨价值维度上实现了强的泛化能力。