MINT: 用于平衡多目标对齐的最小选择偏好蒸馏
摘要
MINT 引入了最小选择偏好蒸馏,通过基于最弱目标对候选进行排名来平衡语言智能体对齐中的多个目标,显著减少不平衡。
arXiv:2608.14828v1 发布类型:新
摘要:将语言智能体同时对齐到多个目标是基于偏好的训练的一个持久失败模式:当目标以加法方式组合时,优化会坍塌到最容易改进的目标上,牺牲其他目标,因此辅助智能体学会了听起来温暖但并未提供真正帮助。根本问题是加法奖励没有平衡的概念。我们引入了 Mint(最小选择偏好蒸馏),对偏好蒸馏进行了一行代码的更改:我们不是根据奖励的加权和对采样候选进行排名,而是根据它们的最弱目标进行排名,在不变的 DPO 目标下,提炼出最平衡的候选,而不是最不平衡的候选。这是从加法到最坏情况选择的广义均值家族的 p -> 负无穷极限。在合作性情感支持和对抗性谈判中,最小选择提升了两个目标,同时大幅降低了它们的不平衡;在情感支持方面,它将较弱的轴从 0.37 提高到 0.64(p < 10^-40),超越了人类专家,并在整个多轮交互中持续有效。逐轮分析得出我们的核心发现:最小选择修正不平衡的程度与参考策略的不平衡程度成正比,并且其益处在交互过程中持续的时间恰好与该不平衡持续的时间一样长。
查看缓存全文
缓存时间: 2026/08/18 10:10
# MINT:基于最小选择偏好蒸馏的平衡多目标对齐 来源:https://arxiv.org/html/2608.14828 Tony Tu 所属机构:佐治亚理工学院 所属机构:Zillow集团 [email protected] [email protected] {ruomengx, tonyqi, austinti}@zillowgroup.com Sayan Chakraborty 所属机构:Zillow集团 [email protected] [email protected] {ruomengx, tonyqi, austinti}@zillowgroup.com Ruomeng Xu 所属机构:Zillow集团 [email protected] [email protected] {ruomengx, tonyqi, austinti}@zillowgroup.com Tony Qin 所属机构:Zillow集团 [email protected] [email protected] {ruomengx, tonyqi, austinti}@zillowgroup.com Austin Tian 所属机构:Zillow集团 [email protected] [email protected] {ruomengx, tonyqi, austinti}@zillowgroup.com 2026年7月 ###### 摘要 将语言智能体同时对齐到多个目标,是基于偏好训练中一个长期存在的失败模式:当目标以加法方式组合时,优化会坍缩到最容易改进的那个目标上,而牺牲其他目标,导致辅助智能体学会听起来热情却无法提供真正帮助。根本问题在于加法奖励缺乏**平衡**的概念。我们引入了MINT(最小选择偏好蒸馏),这是对偏好蒸馏的一行代码修改:不再根据奖励加权和对采样候选进行排序,而是根据其**最弱**目标进行排序,通过不变的DPO目标,将最平衡的候选蒸馏为相对于最不平衡候选的优选对象。这是广义均值族在从加法到最坏情况选择过程中的 \(p \to -\infty\) 极限。在合作式情感支持与对抗式谈判场景中,最小选择同时提升了两个目标,并显著降低了它们之间的不平衡性;在情感支持任务中,它将较弱维度的分数从0.37提升至0.64(\(p < 10^{-40}\)),超越了人类专家水平,并在完整的多轮对话中持续有效。逐轮分析揭示了我们的核心发现:最小选择纠正不平衡的程度与参考策略的不平衡程度成正比,并且只要这种不平衡存在,其优势就会在交互过程中持续存在。 ## 1 引言 通过人类反馈强化学习(RLHF)将语言模型与人类偏好对齐,已成为将强大的基础模型转化为有用助手的主流方法,而直接偏好优化(DPO)通过将奖励建模和策略优化整合到偏好对的单一监督目标中,极大地简化了这一对齐过程。然而,在实际部署中,很少仅优化单一的“良好”概念。对话智能体必须同时具有帮助性**和**无害性,信息丰富**且**简洁,有效**且**友善,而这些目标经常相互冲突。标准的应对方法是**标量化**:将目标组合成加权和并优化聚合值,无论是通过训练对抗奖励模型的线性组合,还是将权重融入DPO损失,亦或是在帕累托前沿上插值各目标策略。然而,加法标量化存在结构性缺陷。由于在一个目标上的大幅增益可以抵消另一个目标上的大幅损失,聚合奖励无法区分一个在每个维度都优秀的响应与一个在最廉价维度上占优、其他维度为空洞的响应。因此,优化往往坍缩到最容易改进的目标上,这是一种“对齐税”,其中平衡被悄无声息地交易掉了,最终导致的智能体学会听起来温暖却无法提供真正帮助,或者赢得交易却疏远了对方。 我们认为,这种失败并非偏好蒸馏本身固有的,而是其传统使用的**加法**聚合方式所导致的,而不同的聚合方式可以消除这一问题。我们引入了MINT(最小选择偏好蒸馏),它保留了目前标准的“最佳K选择”蒸馏流程:采样K个候选,使用冻结的评判模型为每个候选评分,然后通过DPO将偏好蒸馏回策略中,但改变了决定策略实际学习内容的那一步骤:选择优选响应和拒绝响应。MINT不再根据标量或加权和对候选进行排序,而是根据它们的**最小**目标进行排序——这是一种切比雪夫最坏情况准则,是广义幂均值的 \(p \to -\infty\) 极限。被选中的响应是其最弱维度最强的候选,而被拒绝的响应是最不平衡的那个,因此蒸馏后的策略被拉向在**每个**目标上都表现良好,而非仅在单个目标上出色的输出。这一改变刻意保持最小化:它既不触及DPO目标、奖励模型,也不改变采样过程,因此能与广泛的偏好优化变体族相组合。其贡献是实证性的而非算法性的,表明仅选择几何本身就足以诱导多目标平衡。 我们在两个刻意相反的对话领域,使用不同的策略模型对MINT进行了评估:合作式情感支持(ESConv)和对抗式价格谈判(CraigslistBargain)。每个领域都配备了两个由冻结的大型语言模型评判模型打分的正交目标:用于衡量任务进展的行动商数(AQ)和用于衡量关系质量的情感商数(EQ)。最小选择同时提升了两个目标,并显著降低了它们之间的不平衡性;在监督参考模型严重失衡的情况下,它将较弱维度的奖励从0.37提升至0.64,产生的响应比人类专家的响应更平衡。除了核心提升之外,对交互式对话轮次的分析揭示了我们核心的、我们认为具有普遍性的观察:最小选择纠正目标不平衡的程度与参考策略的不平衡程度成正比,并且其优势在多轮交互中随着参考策略在路径上保持不平衡而复合增长。这重新定义了最小选择:它不是一种普遍的助推,而是一种针对加法偏好所引发的多目标坍缩的、特征明确的定向补救措施。我们的贡献包括:(i)偏好对选择的广义均值视角,揭示了从加法到最坏情况选择的连续规则族;(ii)MINT,即其最小选择极限,作为“最佳K选择”偏好蒸馏的即插即用修改;以及(iii)在两个结构不同的领域,通过静态和交互式评估,实证刻画了平衡选择何时以及持续多久能带来帮助。 ## 2 相关工作 #### 偏好优化。 通过人类反馈强化学习通过训练奖励模型并使用PPO针对该模型优化策略,从而将语言模型与人类偏好对齐。直接偏好优化将此流程重新表述为偏好对的单一监督目标,表明语言模型隐式地是其自身的奖励模型,从而避免了显式的奖励建模和强化学习阶段。其简洁性催生了大量修改损失或参考项的变体族,包括IPO、KTO、ORPO和SLiC-HF。我们的方法刻意对这些选择保持中立。MINT仅改变**哪些**候选成为优选和拒绝响应,并使用不变的标准DPO损失,因此它与任何这些变体都兼容。 #### 多目标对齐。 实际部署需要平衡多个经常冲突的目标,例如有用性与无害性、或信息丰富性与简洁性,对此单一的奖励并不足够。大多数方法使用**加权和**对目标进行标量化:多目标RLHF训练一个针对奖励模型线性组合的策略,MODPO将目标权重融入DPO损失,Rewarded Soups为每个目标训练一个策略并插值它们的权重以追踪帕累托前沿。Rewards-in-Context则通过提示中提供的目标奖励值来调节单一模型。这一系列工作中反复出现的一个困难是,加法标量化允许一种“对齐税”,即一个目标的改进以牺牲另一个目标为代价。MINT背离了加法约定。它不对目标进行加权,而是根据**最小**目标(一种切比雪夫准则)选择偏好对,我们通过实证表明,这驱动策略走向平衡改进而非用一个维度换取另一个,并且不需要按目标分配权重或辅助模型。 #### 拒绝采样与最佳K选择蒸馏。 另一条互补的工作线通过采样多个候选、对它们评分并在最佳候选上微调来改进策略。RAFT和ReST执行奖励排名(拒绝采样)微调,将最佳K选择蒸馏回策略,而统计拒绝采样将此选择与偏好优化联系起来。最佳N采样本身就是一个强大的推理时基线,BOND则将其行为蒸馏到单一模型中以避免推理时成本。MINT是这一最佳K偏好蒸馏范式的实例。它生成K个候选,用冻结的评判模型对它们评分,然后通过DPO蒸馏结果,但与先前工作使用**单一**标量奖励对候选进行排序不同,MINT根据**多个**目标的最小值进行排序,使选择几何本身成为实现多目标平衡的机制。因此,我们的贡献是实证性的而非算法性的:相同的蒸馏机制,采用不同的选择规则,产生了平衡的多目标策略。 ## 3 方法 图1:为DPO形成偏好对的三种方式。每种方法将对话轮次转化为优选/拒绝对,并使用相同的DPO目标进行蒸馏;它们仅在如何选择该对上有所不同。(a)标准DPO用单一标量奖励 \(r = J(x, y)\) 为每个候选回复评分,取最高分的作为 \(y^+\),最低分的作为 \(y^-\)。(b)加法多目标DPO在两个维度上为每个候选评分:有用性(\(h\))和无害性(\(s\)),并根据其和 \(\bar{r} = \frac{h + s}{2}\) 排序;因为一个维度的盈余可以补偿另一个维度的赤字,可能选中一个不平衡的回复。(c)MINT(我们的方法)每轮采样 \(K=8\) 个候选,用冻结的评判模型在两个维度上为每个候选评分,并根据**最弱**目标 \(m = \min(h, s)\) 选择对:优选回复是最佳平衡的候选,拒绝回复是最不平衡的候选,因此两个目标得以同步提升。如同桶的水位由其最短的木板决定,整体对话有效性受限于最弱的目标。MINT是一个偏好蒸馏管道,它训练策略**同时**满足多个目标。在每一轮,它从参考策略中采样一组候选回复,用冻结的评判模型在每个目标上为每个候选评分,根据平衡寻求规则选择优选/拒绝对,然后通过直接偏好优化(DPO)将由此产生的偏好蒸馏到策略中。与标准最佳K选择DPO管道的唯一偏离在于形成对的**选择规则**;这正是强制执行多目标平衡的地方。 ### 3.1 问题设置 我们考虑一个轮级对话策略 \(\pi_\theta\),给定对话前缀 \(x\)(系统提示和对话历史),生成下一个智能体话语 \(y \sim \pi_\theta(\cdot \mid x)\)。响应质量不是标量:我们假设存在 \(m\) 个可解释的目标,每个由冻结的评判模型 \(J\) 在 \([0,1]\) 上评分。在我们的实例中,\(m=2\),包括衡量任务进展的**行动商数** \(\mathrm{AQ}(x, y)\) 和衡量关系质量的**情感商数** \(\mathrm{EQ}(x, y)\),但该方法对 \(m\) 和目标的语义是无关的。评判模型是一个冻结的大型语言模型,根据特定目标的评分标准进行提示;它从不微调,因此相同的骨干网络对所有策略和两个目标进行评分,仅根据给定的评分标准不同而有所区别。 核心困难在于目标之间存在张力:一个响应可能推进任务却疏远用户,或者安抚用户却阻碍进展。一个训练以最大化两者朴素组合(最常见的是其和)的策略,可能在提升聚合值的同时**降低**较弱目标的表现,坍缩到更容易提升的那个维度上。MINT在偏好选择层面解决了这个问题。 ### 3.2 候选生成与评分 对于语料库中 \(N\) 个对话的每个智能体轮次,我们从参考策略 \(\pi_{\text{ref}}\) 中抽取 \(K\) 个候选响应 \(\{y_1, \dots, y_K\}\),并在每个目标上为每个候选评分,得到奖励向量 \(\mathbf{r}_k = (\mathrm{AQ}(x, y_k), \mathrm{EQ}(x, y_k))\)。为了获得真正跨越目标权衡空间的候选(而非 \(K\) 个近乎重复的候选),我们将生成条件设置在一小组轻量级**立场**提示上,这些提示引导采样器朝向目标空间的不同区域(例如,以任务为中心 vs. 以关系为中心);立场仅用于多样化候选,之后即丢弃,因此蒸馏后的策略从不依赖于它。所有候选、它们的奖励向量以及原始人类话语都被缓存,以便可以离线构建**任何**选择规则下的偏好对,而无需重新运行评判模型。 ### 3.3 多目标的广义均值标量化 假设一轮获得两个奖励分数,\(a = \mathrm{AQ} \in [0,1]\)(行动商数)和 \(b = \mathrm{EQ} \in [0,1]\)(情感商数)。对候选进行排序需要将奖励向量 \((a, b)\) 坍缩为一个标量,为此我们使用**广义(幂)均值**: \[ M_p(a, b) = \left( \frac{1}{2} \big( a^p + b^p \big) \right)^{1/p}, \qquad p \in \mathbb{R} \] 单一参数 \(p\) 控制对不平衡的惩罚强度,并将熟悉的均值作为特例恢复:算术均值(\(p=1\))、二次...
相似文章
PADMÉ:面向语言模型智能体评估器元评估的偏好对齐数据合成方法
PADMÉ 将语言模型智能体评估器的元评估重新表述为一个偏好对齐问题,并提出了一种仅使用小型语言模型的数据合成方法。与朴素基线相比,该方法将与人类判断的一致率从 73% 提升至 85%,同时能够在智能体领域对 25 个常见模型进行评估。
字典序多目标在线策略蒸馏
Cohere 研究人员提出了字典序多目标在线策略蒸馏(LMOPD),这是一种多教师方法,通过门控路由和投影对数策略修正,在显式优先级顺序下整合各奖励专项策略。在三个数学基准上的 30B-A3B MoE 模型评测中,LMOPD 相比基线方法保留了远更多的最高优先级准确率与推理能力增益,同时仍捕捉到了简洁性方面的改进。
哪些目标需要调节?在可转向多元对齐中预测目标冲突与涵盖权衡
本文探讨了在可转向多元对齐中,如何利用多目标直接偏好优化(MODPO)来预测目标冲突并涵盖权衡,研究发现预训练测量能够预测人类标注数据的对齐,并提出了更广泛涵盖权衡的方法。
更少数据,更好对齐:数据驱动的多评估者一致性偏好优化
本文介绍了DMAPO,一种偏好优化方法,利用多评估者共识来选取高置信度的在策略响应,以显著更少的数据(仅3.45%的接受率)实现强对齐,并在多个基准测试中优于SimPO等基线。
噪声偏好标签下无元数据的元加权直接偏好优化
本文针对噪声偏好标签下的直接偏好优化,提出了一种双层优化框架,引入了一种无元数据的元加权方法,该方法使用中心差分近似和LoRA微调来提高对齐性能。