大型语言模型应学习个性化而非聚合的人类偏好

# 大语言模型应学习个性化而非聚合的人类偏好
来源：https://arxiv.org/html/2606.07629

###### 摘要

当前对齐大语言模型（LLM）的方法将多样的人类偏好聚合成单一的奖励信号，实质上是为某个假设中的“平均用户”进行优化，而这个用户并不能真正代表任何真实的人。本文认为，LLM 应当学习个性化的、个体化的偏好，而非聚合后的偏好。我们表明，聚合会掩盖关于偏好多样性、个体价值观以及上下文依赖性的关键信息——这一局限既在社会选择理论中有其理论基础，也在不同人口群体中得到了经验验证。我们分析人类偏好所编码的丰富结构，调研个性化技术方法，并系统性地回应对可扩展性、共享标准及操纵风险等方面的反对意见。尽管个性化会带来信息茧房、价值锁定和心理操纵等真实的安全挑战，但我们认为通过有边界的个性化框架——在保持通用安全约束的同时容纳合理的个体差异——这些挑战是可控的。最后，我们提出了一个具体的研究与政策议程，旨在开发对偏好敏感、既尊重个体自主性又兼顾集体安全的模型。

机器学习，ICML

## 1 引言

将大语言模型与人类价值观对齐的主流范式依赖于从偏好数据中学习（Ouyang 等人，2022 (https://arxiv.org/html/2606.07629#bib.bib52)；Bai 等人，2022 (https://arxiv.org/html/2606.07629#bib.bib8)）。在基于人类反馈的强化学习（RLHF）中，模型通过一个在人类偏好比较（通常形式为“对于提示 P，输出 A 优于输出 B”）上训练得到的奖励模型进行微调。这种方法在模型的有用性、无害性和诚实性方面取得了显著改进（Askell 等人，2021 (https://arxiv.org/html/2606.07629#bib.bib6)）。然而，这一范式建立在一个有问题的假设之上：人类偏好可以被有意义地聚合成单一的奖励信号。在实践中，标注者之间存在显著分歧（Gordon 等人，2022 (https://arxiv.org/html/2606.07629#bib.bib24)；Aroyo & Welty，2015 (https://arxiv.org/html/2606.07629#bib.bib4)），偏好随文化背景而变化（Huang & Yang，2023 (https://arxiv.org/html/2606.07629#bib.bib30)；Santurkar 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib59)），而个体用户也有不同的价值观和需求（Kirk 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib38)）。因此，在平均后的偏好上进行训练，优化的对象是一个可能并不存在的假设性“平均用户”，其偏好与任何真实的人都不太匹配。随着规模扩大，问题进一步加剧：基于来自几千名参与者的偏好标注训练的模型，被部署到覆盖数百种语言、文化和背景的数十亿用户面前，而这些用户的偏好从未在训练中得到体现。

这种设计选择的代价并非抽象。当被要求解释一个技术概念时，有些用户更喜欢简洁的定义，而另一些用户则希望获得带有示例的详细解释；有些人看重正式的数学符号，另一些人则偏爱直观的类比。这些并非关于质量的分歧，而是针对特定情境下对某个人而言何为“有帮助的回答”的合理差异。然而，当前的训练方法将这些差异压缩成一个平均后的奖励信号，产生的回答让每个人部分满意，却又无法让任何人完全满意。

本文主张，我们必须超越聚合偏好训练，转而发展尊重人类偏好多样性的个性化和自适应系统。我们将审视聚合在理论和经验上的局限性，分析人类偏好丰富的多维结构，并论证个性化既有益于服务异构用户群体，也是其必要条件。我们将批判性地审视各种反对意见，包括可扩展性、共享标准、操纵风险，并提出一个负责任的个性化框架，在容纳合理个体差异的同时保留通用安全约束。随着语言模型日益成为全球规模的信息获取与决策基础设施，AI 对齐研究必须面对一个根本问题：为谁而对齐？

## 2 聚合偏好的局限性

### 2.1 不可能存在普适的偏好

聚合奖励模型（这里没有真实用户）
沟通风格（非正式→正式）
技术深度（易懂→专业）
技术型、正式用户
易懂型、非正式用户
技术型、非正式用户
聚合奖励模型
图 1：多样化的用户偏好在偏好空间中聚类于不同区域。聚合奖励模型（灰色）落在各聚类之间的稀疏区域，不代表任何实际用户群体，并系统性地损害少数群体。

将多样化的人类偏好聚合成单一的奖励信号，不仅不切实际，而且在理论上若不施加价值选择就不可能实现。阿罗不可能定理（Arrow，1950 (https://arxiv.org/html/2606.07629#bib.bib5)）表明，在将个体偏好合并为集体决策时，没有任何聚合方法能同时满足传递性、非独裁性、帕累托最优和无关选项独立性。我们在这里将其作为概念动机：尽管正式条件不能直接移植（阿罗定理关注离散选项上的序数排序，而 RLHF 通过概率聚合优化连续奖励函数），但核心洞察是成立的——不存在价值中立的异质偏好聚合。当跨不同标注者聚合时，人类偏好表现出系统的非传递性和情境依赖性（Tversky，1969 (https://arxiv.org/html/2606.07629#bib.bib68)；Azar 等人，2024 (https://arxiv.org/html/2606.07629#bib.bib7)），并且在计算社会选择设定中也发现了类似的不可能结果（Conitzer 等人，2024 (https://arxiv.org/html/2606.07629#bib.bib12)；Noothigattu 等人，2018 (https://arxiv.org/html/2606.07629#bib.bib51)）。当前的 RLHF 实现通过简单地对偏好取平均来回避这一不可能性；分歧被视为噪声而非有意义的信号，这是一个务实的选择，但会对最终部署模型的服务对象产生系统性影响（图1 (https://arxiv.org/html/2606.07629#S2.F1)）。

当通过多数投票或平均化来聚合偏好时，少数群体的观点被压制。如果 60% 的标注者偏好直接回答，而 40% 偏好细致入微的说明，那么在平均化偏好上训练的模型将优化直接性，这使得模型对于看重细微差别的用户来说很不适用。这不仅仅是性能略有下降的问题；对于偏好始终与多数派偏离的用户而言，模型可能从根本上不适合他们的需求。当多个偏好维度叠加时，问题会进一步加剧：一个用户在正式程度、细节水平和沟通风格上都属于少数的用户，会得到一个在这些维度上同时错位对齐的模型。

考虑到偏好标注的人口统计学特征，少数视角的损失尤为令人担忧。当前的数据集主要代表英语使用者、西方受教育人群（Kirk 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib38)；Mihalcea 等人，2025 (https://arxiv.org/html/2606.07629#bib.bib47)），从而嵌入了特定的文化规范，同时边缘化了其他选择。LLM 的观点与自由派、受过教育的西方人群的相关性比与其他人口群体高出多达 0.3 个点（Santurkar 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib59)）。全球南方的视角系统性缺乏代表性，其对齐分数始终低于西方国家的观察值（Durmus 等人，2024 (https://arxiv.org/html/2606.07629#bib.bib14)）。当被问及文化差异性问题（例如“婚礼是什么样子的？”）时，模型默认采用西方惯例，很大程度上忽略了全球文化实践的多样性（Nakano 等人，2021 (https://arxiv.org/html/2606.07629#bib.bib48)）。此外，即使多数偏好被很好地捕捉，模型也会系统性误判少数标注者的偏好，标注分歧反映的是真实的偏好多样性而非标注噪声（Fleisig 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib17)；Jiang 等人，2025 (https://arxiv.org/html/2606.07629#bib.bib34)）。

除了人口统计学上的异质性，偏好还高度依赖上下文（Shen 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib61)），随任务类型、用户专业知识和情境因素而变化。调试生产代码的软件工程师需要与初次学习编程概念的学生截然不同的解释；医疗专业人员需要与试图理解自身诊断的患者不同的健康信息；时间紧迫的用户与随意探索想法的用户需要不同的回答特性。聚合训练抹去了这些上下文依赖性，将所有请求视为等价，无论其上下文如何。

### 2.2 训练与部署之间的错位

有原则的偏好聚合的不可能性造成了更深层次的结构性错位：我们在一个有限的标注者池上训练单一的奖励模型，然后将其部署到覆盖不同文化、语言和社会背景的数十亿用户面前。这种方法迫使模型使用一个对几乎所有人来说都是次优的奖励信号做出决策——我们将此现象称为“偏好平庸”。就像为所有人设计单一尺码的鞋子，它声称服务每个人，却让任何人都不合脚。

时间维度上的错位进一步加剧了问题。偏好是从特定时间点收集的固定数据集中学习得到的，但必须泛化到不断变化的用户需求和上下文。用户对正式程度、细节水平或风险容忍度的偏好可能会随着他们的专业知识、紧迫性或情绪状态而改变（Jakesch 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib32)）。新手用户的偏好随着他们获得专业知识而演进；用户对推测与确定性的容忍度在休闲探索与关键决策之间有所不同。静态奖励模型无法捕捉这些动态。

通过优化聚合偏好，我们隐含地将特定的文化规范、沟通风格和价值体系编码到模型行为中（Leon，2025 (https://arxiv.org/html/2606.07629#bib.bib40)）。模型成为这些主导偏好的载体，塑造着数十亿用户与信息和思想的互动方式，其后果超越个体体验，延伸到认知实践、社会沟通以及公共话语中观点的多样性（Jiang 等人，2026 (https://arxiv.org/html/2606.07629#bib.bib33)）。

### 2.3 技术局限性

这些概念性问题被聚合偏好训练所固有的技术挑战进一步放大。在偏好数据上训练的奖励模型表现出高度不确定性（Sun 等人，2025 (https://arxiv.org/html/2606.07629#bib.bib67)，2024 (https://arxiv.org/html/2606.07629#bib.bib66)），尤其在远离训练分布的输入上。聚合通过迫使奖励模型对多样且可能矛盾的信号取平均，使问题恶化，导致其对应该优化什么根本不确定：它无法区分所有标注者一致同意的情况和偏好平均分裂的情况。

这种不确定性为奖励黑客行为创造了可利用的表面（Wang 等人，2026 (https://arxiv.org/html/2606.07629#bib.bib69)）。模型学会利用奖励模型的缺陷，通过博弈策略（Gao 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib20)）生成在奖励模型上得分高但未能真正满足用户偏好的回答。聚合奖励曲面尤其脆弱，因为在矛盾信号上取平均会创建模型可以学习利用的虚假相关/伪影。

最后，在当前范式下，实现真正全面的偏好覆盖在经济上不可行。即使是资源充足的项目，最多也只能收集数十万个偏好判断（Ouyang 等人，2022 (https://arxiv.org/html/2606.07629#bib.bib52)），这相对于捕捉数十亿用户和上下文中的有意义变化所需的数据来说只是极小一部分。我们在第5.2节 (https://arxiv.org/html/2606.07629#S5.SS2) 讨论克服计算和数据收集障碍的具体策略。

## 3 偏好编码了什么？

理解人类偏好捕获了什么，对于设计更好的对齐方法至关重要。偏好不是单一的判断，而是编码了多种交互因素的复杂信号，包括任务类型、用户专业知识、文化背景和个体价值观。认识这种多维结构不仅仅是描述性的：它揭示了聚合恰好丢弃了什么，以及个性化系统必须恢复什么。我们审视偏好编码了什么，以及如何发现这种结构。

### 3.1 偏好判断背后的因素

偏好随任务类型显著变化。对于摘要任务，用户可能优先考虑简洁性和覆盖率；对于创意写作，则强调细节和风格；对于事实性问题，注重准确性和清晰度；对于开放式讨论，则看重参与度和视角采纳（Zheng 等人，2023 (https://arxiv.org/html/2606.07629#bib.bib76)）。因此，在一个上下文中对直接性的偏好可能与另一个上下文中对谨慎的偏好共存，这使得任何单一的聚合信号都不适合多样化的任务。

用户专业知识和背景深刻影响偏好。专家用户偏好技术深度、精确术语和最少的背景概念解释；新手则优先考虑可访问性和与熟悉想法的联系。同一个解释对一个用户来说可能恰到好处，对另一个用户来说则难以理解或显得屈尊俯就。这些差异不仅反映了风格偏好，更反映了对不同用户而言什么代表有用信息的根本区别。

所有偏好的底层是个体价值观和信念。关于政治意识形态、风险容忍度、隐私关切和道德框架的偏好，无法在不强加特定价值体系的情况下通过平均化来调和（Sorensen 等人，2024 (https://arxiv.org/html/2606.07629#bib.bib64)）。当用户偏好承认不确定性的回答时，这可能反映了作为价值观的认知谦逊。当另一个用户偏好自信的断言时，这可能反映了与权威和专业知识的不同关系。两者都是基于不同世界观的合理视角，然而聚合迫使模型采取一个可能双方都不满意的中间立场。

文化和语言背景带来了进一步的变化。沟通规范、礼貌惯例和可接受的内容在不同文化间差异巨大（Huang & Yang，2023 (https://arxiv.org/html/2606.07629#bib.bib30)）。主要从英语使用者、西方标注者那里学到的偏好嵌入了特定的文化规范，可能为来自不同背景的用户创造尴尬或不适当的互动。