标签
介绍PEBS，一种用于RLHF中奖励模型校准的每个评分者经验贝叶斯收缩估计器，在PRISM上将用户内RMSE降低了超过8.5%，在PluriHarms上降低了超过9.6%。
介绍了SCPO，一种新颖的奖励模型训练算法，它以平衡的方式整合了多样化的文化偏好，在基线之上取得了高达7个百分点的改进和280%的数据效率提升。
本文认为，标准RLHF将人类偏好标量化的做法导致多个有效解释被压缩为单一目标，从而在文化多元的社会中错误衡量对齐。通过对马来西亚数据集的分析，研究发现79%的提示词存在多个多数支持的回答，而这些回答在单一胜者聚合中被丢弃。
本文主张，在AI价值对齐中聚合道德评估时必须考虑语境因素，表明忽略语境可能导致违反弱帕累托原则，类似于辛普森悖论。
本文引入内部一致性最大化（ICM）方法，无需人工监督即可生成针对特定角色的示例，用于将AI与多样化的人类价值观对齐，并证明一致性示例在多个基准测试中具有更好的泛化能力。
本文提出了一种基于角色的评估框架，利用合成认知档案代表不同人类视角，用于生成式AI的多元对齐，解决了单一基准测试的局限性。
本文介绍了DVMap，一个用于大语言模型细粒度多元价值对齐的框架，它使用高共识的人口统计-价值映射，而非粗略的国家标签，从而在跨人口统计、跨国家和跨价值维度上实现了强的泛化能力。