标签
该论文提出福利感知偏好获取方法（WAPA），在有限人工反馈预算下，通过社会福利目标来分配人工标注，以改善多元对齐中不同个体偏好的监督质量，实验证明仅获取 20% 人工标签即可恢复 75–86% 的效用差距。
ConvoDrift 提出了一个用于在固定语义意图下建模风格语气渐进式漂移的多轮对话数据集，包含 15,727 个带风格漂移标签和基于人设条件的偏好对的对话结构，并通过人工标注、大模型即裁判（LLM-as-judge）以及词汇/语义评估进行了验证。
Amazon Science 提出 Demographic Pluralism，这是一个推理时框架，通过在具有人口统计学依据的群体内生成多种观点来估计人口层面的意见分布。在 GlobalOpinionQA 和 VITAL 两个基准上，该方法在四种模型基座上相比 Modular Pluralism 将 Jensen-Shannon 距离降低了 8.4%-26.4%，且无需意见分布训练数据。
本文探讨了在可转向多元对齐中，如何利用多目标直接偏好优化（MODPO）来预测目标冲突并涵盖权衡，研究发现预训练测量能够预测人类标注数据的对齐，并提出了更广泛涵盖权衡的方法。
本研究论文探讨了社会人口学提示如何影响大语言模型在主观任务中的判断，发现它常常使模型与多数群体对齐，同时误解少数群体，并确定指令微调为一个潜在原因。
本文介绍了群体对齐诱发的谄媚行为（GAS），这是一个双侧评估框架，用于在将大语言模型与人口统计群体对齐时，同时衡量意见对齐的预期增益和谄媚行为的非预期变化，并发现这些效应是非均匀且具有群体特异性的。
介绍Rushes，一个大规模数据集，记录了人类在AI生成的分支叙事中的参与偏好。结果表明，当前如GPT-5等大语言模型在预测用户选择方面甚至无法超越简单基线，凸显了个性化对齐的必要性。
介绍PEBS，一种用于RLHF中奖励模型校准的每个评分者经验贝叶斯收缩估计器，在PRISM上将用户内RMSE降低了超过8.5%，在PluriHarms上降低了超过9.6%。
介绍了SCPO，一种新颖的奖励模型训练算法，它以平衡的方式整合了多样化的文化偏好，在基线之上取得了高达7个百分点的改进和280%的数据效率提升。
本文认为，标准RLHF将人类偏好标量化的做法导致多个有效解释被压缩为单一目标，从而在文化多元的社会中错误衡量对齐。通过对马来西亚数据集的分析，研究发现79%的提示词存在多个多数支持的回答，而这些回答在单一胜者聚合中被丢弃。
本文主张，在AI价值对齐中聚合道德评估时必须考虑语境因素，表明忽略语境可能导致违反弱帕累托原则，类似于辛普森悖论。
本文引入内部一致性最大化（ICM）方法，无需人工监督即可生成针对特定角色的示例，用于将AI与多样化的人类价值观对齐，并证明一致性示例在多个基准测试中具有更好的泛化能力。
本文提出了一种基于角色的评估框架，利用合成认知档案代表不同人类视角，用于生成式AI的多元对齐，解决了单一基准测试的局限性。
本文介绍了DVMap，一个用于大语言模型细粒度多元价值对齐的框架，它使用高共识的人口统计-价值映射，而非粗略的国家标签，从而在跨人口统计、跨国家和跨价值维度上实现了强的泛化能力。