基于互信息的多目标探索与偏好优化
摘要
提出MI-EPO,一种基于信息理论的多目标对齐框架,用于大型语言模型,通过互信息增强探索,确保生成的响应可区分且与不同偏好向量对齐,在冲突目标间实现稳定权衡。
arXiv:2607.01392v1 公告类型:新
摘要:将大型语言模型与多样且异质的人类价值观对齐,需要多目标对齐方法以有效权衡冲突的偏好维度。当前方法通过训练条件于偏好向量的策略并利用在线直接偏好优化来实现这一权衡。然而,探索不确定性可能导致不同偏好向量下生成的响应奖励分布重叠,且生成的响应可能无法有效对齐相应的偏好向量。本文提出基于互信息的多目标探索与偏好优化(MI-EPO),一种信息理论框架。它通过最大化生成响应、偏好反馈和偏好向量之间的联合条件互信息,统一了多目标探索与对齐。通过引入概率路由机制,MI-EPO自然分解了目标对齐和偏好感知探索,鼓励模型生成可区分且与不同偏好条件对齐的响应。在安全对齐和有用助手任务上的实验表明,MI-EPO显著提高了生成响应与偏好向量之间的对齐,使输出更可控,并在多个目标间实现了稳定权衡。
查看缓存全文
缓存时间: 2026/07/03 05:40
# 基于互信息的多目标探索与偏好优化
来源:https://arxiv.org/html/2607.01392
11institutetext:北京航空航天大学计算机学院,北京,中国
11email:\{xiehongyan,yikunb,huang\_zx,dqwang\}@buaa\.edu\.cn22institutetext:Xingchen AGI Lab, China Telecom Artificial Intelligence Technology \(Beijing\) Co\., Ltd, 北京,中国
22email:\{fangry,songshy\}@chinatelecom\.cnYikun BanRuiyu FangZixuang HuangDeqing WangJianxin LiShuangyong Song
###### 摘要
将大型语言模型与多样且异质的人类价值观对齐需要多目标对齐方法,以有效权衡相互冲突的偏好维度。当前方法通过基于偏好向量训练策略并结合在线直接偏好优化来实现这种权衡。然而,探索不确定性可能导致不同偏好向量下生成的响应的奖励分布发生重叠,并且生成的响应可能无法有效地与相应偏好向量对齐。在本文中,我们提出基于互信息的多目标探索与偏好优化(MI-EPO),一种信息论框架。它通过最大化生成响应、偏好反馈和偏好向量之间的联合条件互信息来统一多目标探索与对齐。通过引入概率路由机制,MI-EPO自然地分解了目标对齐和偏好感知探索,鼓励模型生成与不同偏好条件可区分且对齐的响应。在安全对齐和助手任务上的实验表明,MI-EPO显著改善了生成响应与偏好向量之间的对齐,使输出更可控,并在多个目标之间实现稳定权衡。
## 1 引言
基于人类反馈的强化学习(RLHF)[24](https://arxiv.org/html/2607.01392#bib.bib47)通过近端策略优化(PPO)[27](https://arxiv.org/html/2607.01392#bib.bib48)成功地使大型语言模型(LLM)[8](https://arxiv.org/html/2607.01392#bib.bib117), [33](https://arxiv.org/html/2607.01392#bib.bib119), [32](https://arxiv.org/html/2607.01392#bib.bib121)与人类价值观对齐。然而,现有方法大多假设人类价值观是同质化的[3](https://arxiv.org/html/2607.01392#bib.bib115), [10](https://arxiv.org/html/2607.01392#bib.bib129),将多样化的价值观压缩为单个标量奖励。实际上,人类价值观是异质且多维的,通常需要在多个可能冲突的偏好维度之间进行权衡,例如有帮助性和无害性。
近期语言模型对齐的研究已从单目标对齐逐步转向多目标对齐(MOA)。一些早期方法将RLHF扩展到多目标RLHF(MORLHF)[26](https://arxiv.org/html/2607.01392#bib.bib15), [31](https://arxiv.org/html/2607.01392#bib.bib21), [15](https://arxiv.org/html/2607.01392#bib.bib3),其中人类反馈被分解为多个偏好维度,并为每个目标训练独立的代理奖励模型。然后使用PPO[27](https://arxiv.org/html/2607.01392#bib.bib48)优化语言模型策略,通过调整奖励权重来权衡不同的偏好目标。然而,PPO训练存在不稳定性和高计算成本[13](https://arxiv.org/html/2607.01392#bib.bib108), [25](https://arxiv.org/html/2607.01392#bib.bib1)。受直接偏好优化(DPO)[25](https://arxiv.org/html/2607.01392#bib.bib1)卓越效率和稳定性的启发,最近的研究[43](https://arxiv.org/html/2607.01392#bib.bib17), [17](https://arxiv.org/html/2607.01392#bib.bib50)探索了在DPO框架内进行多目标对齐。然而,这些方法仍需要训练和维护多个独立的模型。
近期,一些工作[41](https://arxiv.org/html/2607.01392#bib.bib26), [40](https://arxiv.org/html/2607.01392#bib.bib18)利用LLM的指令遵循能力,将策略条件化为偏好向量或期望奖励值。虽然这种离线方法显著降低了训练成本,但它们依赖于静态的偏好数据集,这引入了生成数据的策略与被优化策略之间的分布偏移[38](https://arxiv.org/html/2607.01392#bib.bib113), [37](https://arxiv.org/html/2607.01392#bib.bib22)。为解决这一限制,近期工作将在线AI反馈(OAIF)扩展到多目标设置,并提出了多目标在线直接偏好优化(MO-ODPO)[7](https://arxiv.org/html/2607.01392#bib.bib7)。通过将策略条件化为偏好向量,MO-ODPO能够根据不同的偏好向量生成响应,并将DPO的优化稳定性与在线反馈的探索能力相结合,从而在多个目标之间实现有效权衡。然而,我们发现即使是最优性能的MO-ODPO方法,在相同偏好条件下生成的响应中也存在显著的奖励波动。此外,不同偏好条件下响应的奖励分布表现出显著重叠,如图1(a)(https://arxiv.org/html/2607.01392#S1.F1.sf1)所示。这一现象表明,在线生成过程中固有的探索不确定性削弱了偏好向量WW对生成响应YY的条件控制,导致它们之间出现明显的对齐问题。
在本文中,我们提出基于互信息的多目标探索与偏好优化(MI-EPO),该框架从信息论视角最大化联合条件互信息I\(Y;CZ,W,Z∣X\)\\mathcal\{I\}\(Y;C\_\{Z\},W,Z\\mid X\)以训练生成条件化响应策略,从而统一探索与多目标对齐。具体而言,我们将多目标对齐形式化为最大化联合条件互信息I\(Y;CZ,W,Z∣X\)\\mathcal\{I\}\(Y;C\_\{Z\},W,Z\\mid X\),其中CZC\_\{Z\}是通过概率路由变量ZZ选择的目标的反馈。根据互信息链式法则,该目标自然分解为两个互补项:I\(Y;CZ∣X,W,Z\)\\mathcal\{I\}\(Y;C\_\{Z\}\\mid X,W,Z\)和I\(Y;W∣X\)\\mathcal\{I\}\(Y;W\\mid X\)。前者促进目标特定的偏好对齐,而后者鼓励偏好感知的探索,使策略能够在不同偏好条件下生成可区分的响应(图1(b)(https://arxiv.org/html/2607.01392#S1.F1.sf2))。源代码已公开在https://github.com/jyxhyan/MI-EPO。
我们的贡献总结如下:
- •通过最大化联合互信息I\(Y;CZ,W,Z∣X\)\\mathcal\{I\}\(Y;C\_\{Z\},W,Z\\mid X\)统一了多目标对齐与探索。
- •引入了响应与偏好向量之间的互信息目标,缓解了不同偏好下输出的同质化以及生成响应与偏好向量之间的对齐问题。
- •通过理论分析和实验验证证明了我们方法的有效性。
参照图注\(a\)奖励分布
参照图注\(b\)探索不确定性
图1:\(a\) 基线方法MO-ODPO在测试阶段不同偏好向量下生成的响应的奖励分布。\(b\) 基线方法MO-ODPO在训练过程中表现出高探索不确定性,导致不同偏好条件下的探索区域严重重叠。相比之下,我们的方法降低了探索不确定性,使不同偏好条件对应的探索区域更加可区分,同时保持了整体多样性。
## 2 预备知识
##### DPO。
DPO是一种离线偏好优化范式,无需显式的奖励建模和强化学习。通过利用KL约束RL目标的闭式最优策略,DPO将奖励函数r\(x,y\)r\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}\)重新参数化为:
r\(x,y\)=βlogπθ\(y\|x\)πref\(y\|x\)\+βlogZ\(x\), (1)r\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}\)=\\beta\\log\\frac\{\{\\bm\{\\pi\_\{\\theta\}\}\}\(\{\\mathbf\{y\}\}\|\{\\mathbf\{x\}\}\)\}\{\{\\bm\{\\pi\}\_\{\\text\{ref\}\}\}\(\{\\mathbf\{y\}\}\|\{\\mathbf\{x\}\}\)\}\+\\beta\\log Z\(\{\\mathbf\{x\}\}\), (1)其中πθ\{\\bm\{\\pi\_\{\\theta\}\}\}是参数化策略,πref\{\\bm\{\\pi\}\_\{\\text\{ref\}\}\}是参考策略,Z\(x\)Z\(\{\\mathbf\{x\}\}\)是配分函数。给定偏好数据集D=\{\(xi,yi\+,yi−\)\}i=1N\\mathcal\{D\}=\\\{\(\{\\mathbf\{x\}\}\_\{i\},\{\\mathbf\{y\}\}^\{\+\}\_\{i\},\{\\mathbf\{y\}\}^\{\-\}\_\{i\}\)\\\}\_\{i=1\}^\{N\},其中y\+\{\\mathbf\{y\}\}^\{\+\}优于y−\{\\mathbf\{y\}\}^\{\-\},DPO使用Bradley–Terry(BT)模型对成对偏好进行建模。偏好概率表示为P\(y\+≻y−∣x\)=σ\(r\(x,y\+\)−r\(x,y−\)\)P\(\{\\mathbf\{y\}\}^\{\+\}\\succ\{\\mathbf\{y\}\}^\{\-\}\\mid\{\\mathbf\{x\}\}\)=\\sigma\(r\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}^\{\+\}\)\-r\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}^\{\-\}\)\)。由于配分函数Z\(x\)Z\(\{\\mathbf\{x\}\}\)在奖励差中抵消,DPO目标可以简化为一个二元交叉熵损失:
LDPO\(πθ;x,y\+,y−\)=−logσ\(βlogπθ\(y\+\|x\)πref\(y\+\|x\)−βlogπθ\(y−\|x\)πref\(y−\|x\)\). (2)\\mathcal\{L\}\_\{\\text\{DPO\}\}\(\{\\bm\{\\pi\_\{\\theta\}\}\};\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}^\{\+\},\{\\mathbf\{y\}\}^\{\-\}\)=\-\\log\\sigma\\left\(\\beta\\log\\frac\{\{\\bm\{\\pi\_\{\\theta\}\}\}\(\{\\mathbf\{y\}\}^\{\+\}\|\{\\mathbf\{x\}\}\)\}\{\{\\bm\{\\pi\}\_\{\\text\{ref\}\}\}\(\{\\mathbf\{y\}\}^\{\+\}\|\{\\mathbf\{x\}\}\)\}\-\\beta\\log\\frac\{\{\\bm\{\\pi\_\{\\theta\}\}\}\(\{\\mathbf\{y\}\}^\{\-\}\|\{\\mathbf\{x\}\}\)\}\{\{\\bm\{\\pi\}\_\{\\text\{ref\}\}\}\(\{\\mathbf\{y\}\}^\{\-\}\|\{\\mathbf\{x\}\}\)\}\\right\). (2)该公式允许使用标准监督学习技术直接进行策略优化,提高了训练稳定性和计算效率。
##### 互信息最大化。
设XX表示输入提示,YY表示生成的响应,C∈\{0,1\}C\\in\\\{0,1\\\}表示人类偏好的二元变量,其中c=1c=1表示偏好响应,c=0c=0表示非偏好响应。条件互信息(CMI)[22](https://arxiv.org/html/2607.01392#bib.bib111)量化了给定XX下YY与CC之间的期望共享信息。以XX为条件,通过将提示视为已知常数,来隔离生成结果与其偏好分数之间的关系。由于CMI的直接计算通常不可行,可以通过InfoNCE目标[30](https://arxiv.org/html/2607.01392#bib.bib112)给出其下界:
I\(Y;C\|X\)\\displaystyle I\(Y;C\|X\):=Ex∼X\[DKL\(PY,C\|X=x∥PY\|X=xPC\|X=x\)\]\\displaystyle:=\\mathbb\{E\}\_\{\{\\mathbf\{x\}\}\\sim X\}\\left\[D\_\{\\text\{KL\}\}\\left\(P\_\{Y,C\|X=\{\\mathbf\{x\}\}\}\\parallel P\_\{Y\|X=\{\\mathbf\{x\}\}\}P\_\{C\|X=\{\\mathbf\{x\}\}\}\\right\)\\right\]≥InfoNCE:=supfE\[logexp\(f\(y,c\)\)exp\(f\(y,c\)\)\+∑j=1mexp\(f\(yj,cj\)\)\], (3)\\displaystyle\\geq\\text\{InfoNCE\}:=\\sup\_\{f\}\\mathbb\{E\}\\left\[\\log\\frac\{\\exp\(f\(\{\\mathbf\{y\}\},\{\\bm\{c\}\}\)\)\}\{\\exp\(f\(\{\\mathbf\{y\}\},\{\\bm\{c\}\}\)\)\+\\sum\_\{j=1\}^\{m\}\\exp\(f\(\{\\mathbf\{y\}\}\_\{j\},\{\\bm\{c\}\}\_\{j\}\)\)\}\\right\], (3)其中正对\(y,c\)∼PY,C\|X\(y,c\)\\sim P\_\{Y,C\|X\},负对\(yj,cj\)∼PY\|XPC\|X\(y\_\{j\},c\_\{j\}\)\\sim P\_\{Y\|X\}P\_\{C\|X\},ff表示得分函数。给定提示分布p\(x\)p\(x\)和策略πθ\\pi\_\{\\theta\},采样一个提示x∼p\(x\)x\\sim p\(x\)、一个正对\(y\+,c\)∼πθ\(y,c=1∣x\)\(y^\{\+\},c\)\\sim\\pi\_\{\\theta\}\(y,c=1\\mid x\)和一个负对\(y−,c\)∼πref\(y∣x\)p\(c∣x\)\(y^\{\-\},c\)\\sim\\pi\_\{\\text\{ref\}\}\(y\\mid x\)\\,p\(c\\mid x\)。利用参数化判别函数fφf\_\{\\phi\},带有偏好反馈的InfoNCE目标简化为一个成对对比损失:
LInfoNCE\(φ;y\+,y−\)=−logexp\(fφ\(y\+,c=1\)\)exp\(fφ\(y\+,c=1\)\)\+exp\(fφ\(y−,c=0\)\). (4)\\displaystyle\\mathcal\{L\}\_\{\\text\{InfoNCE\}\}\(\\phi;\{\\mathbf\{y\}\}^\{\+\},\{\\mathbf\{y\}\}^\{\-\}\)=\-\\log\\frac\{\\exp\(f\_\{\\phi\}\(\{\\mathbf\{y\}\}^\{\+\},\{\\bm\{c\}\}=1\)\)\}\{\\exp\(f\_\{\\phi\}\(\{\\mathbf\{y\}\}^\{\+\},\{\\bm\{c\}\}=1\)\)\+\\exp\(f\_\{\\phi\}\(\{\\mathbf\{y\}\}^\{\-\},\{\\bm\{c\}\}=0\)\)\}. (4)当fφ\(x,y\)=βlogπθ\(y∣x\)πref\(y∣x\)f\_\{\\phi\}\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}\)=\\beta\\log\\frac\{\\pi\_\{\\theta\}\(\{\\mathbf\{y\}\}\\mid\{\\mathbf\{x\}\}\)\}\{\\pi\_\{\\text\{ref\}\}\(\{\\mathbf\{y\}\}\\mid\{\\mathbf\{x\}\}\)\}时,InfoNCE目标退化为公式2(https://arxiv.org/html/2607.01392#S2.E2)。
## 3 方法
在本节中,我们介绍基于互信息的多目标探索与偏好优化。
### 3.1 动机与问题形式化
我们训练一个以提示为条件的可控生成策略πθ\(y∣x,w\)\{\\bm\{\\pi\_\{\\theta\}\}\}\(\{\\mathbf\{y\}\}\\mid\{\\mathbf\{x\}\},\{\\mathbf\{w\}\}\),其中偏好向量w∈RK\{\\mathbf\{w\}\}\\in\\mathbb\{R\}^\{K\}作为策略输入的一部分。每个目标kk与一个奖励模型Rk\(x,y\)R^\{k\}\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}\)相关联,该模型生成一个特定于目标的标量奖励sks^\{k\}。偏好向量w=\[w1,...,wK\]⊤\{\\mathbf\{w\}\}=\[w\_\{1\},\\ldots,w\_\{K\}\]^\{\\top\}位于概率单纯形ΔK−1=\{w∣∑k=1Kwk=1,wk≥0\}\\Delta^\{K\-1\}=\\\{\\,w\\mid\\sum\_\{k=1\}^\{K\}w\_\{k\}=1,\\;w\_\{k\}\\geq 0\\,\\\},其中wkw\_\{k\}表示生成过程中分配给第kk个目标的相对重要性。
在线多目标对齐通常形式化为一个顺序过程。从数据集D\\mathcal\{D\}中采样一个提示x\{\\mathbf\{x\}\},并从单纯形ΔK−1\\Delta^\{K\-1\}中采样一个偏好向量w\\mathbf\{w\}以条件化提示。两个候选响应y1\{\\mathbf\{y\}\}^\{1\}和y2\{\\mathbf\{y\}\}^\{2\}由当前策略πθ\(⋅∣x,w\)\\pi\_\{\\theta\}\(\\cdot\\mid\{\\mathbf\{x\}\},\\mathbf\{w\}\)生成。对于每个目标kk,具有较高奖励分数的候选响应被指定为偏好响应y\+,k\{\\mathbf\{y\}\}^\{\+,k\},另一个为非偏好响应y−,k\{\\mathbf\{y\}\}^\{\-,k\}。我们为每个目标kk定义一个目标特定的偏好元组\(x,y\+,k,y−,k\)\(\{\\mathbf\{x\}\},\{\\mathbf\{y\}\}^\{\+,k\},\{\\mathbf\{y\}\}^\{\-,k\}\)。为了找到帕累托最优解,多目标优化(MOO)被标量化为加权和:
minθ∑k=1KwkLDPO\(πθ;\(x,w\),y\+,k,y−,k\)s\.t\.∑k=1Kwk=1,wk≥0\. (5)\\displaystyle\\min\_\{\\theta\}\\sum\_\{k=1\}^\{K\}w\_\{k\}\,\\mathcal\{L\}\_\{\\text\{DPO\}\}\\\!\\left\(\{\\bm\{\\pi\_\{\\theta\}\}\};\(\{\\mathbf\{x\}\},\{\\mathbf\{w\}\}\),\{\\mathbf\{y\}\}^\{\+,k\},\{\\mathbf\{y\}\}^\{\-,k\}\\right\)\\quad\\text\{s\.t\.\}\\quad\\sum\_\{k=1\}^\{K\}w\_\{k\}=1,\\;w\_\{k\}\\geq 0\. (5)其中wkw\_\{k\}是采样向量w\{\\mathbf\{w\}\}的第kk个分量。
###### 定义 1
解θ∗\\theta^\{\*\}是帕累托最优的,如果不存在另一个解在所有目标上至少同样好,并且在至少一个目标上严格更好。
然而,基于策略采样的在线探索过程面临重大挑战。尽管帕累托前相似文章
更少数据,更好对齐:数据驱动的多评估者一致性偏好优化
本文介绍了DMAPO,一种偏好优化方法,利用多评估者共识来选取高置信度的在策略响应,以显著更少的数据(仅3.45%的接受率)实现强对齐,并在多个基准测试中优于SimPO等基线。
利用逆强化学习进行多目标约束推断
本文介绍了 MOCI,这是一种新颖的框架,能够从强化学习中的异构专家演示中推断共享约束和个体偏好,在预测性能和计算效率方面均优于现有基线。
MOAE:多目标智能体进化的帕累托保留搜索
MOAE 提出了一种帕累托保留的进化搜索方法,能够在搜索过程中无需固定标量化,同时优化 LLM 代理的多个目标,包括任务性能、轨迹质量和安全性。
MetaEvo: 一种用于经验驱动型智能体持续进化的元优化框架
MetaEvo 提出了一种两阶段框架,用于基于LLM的智能体的持续进化,利用基于偏好的优化来增强原则抽象和用于经验重用的模块化架构,在推理基准测试上优于强基线。
HMACE:面向组合优化的异构多智能体协同进化
本文介绍了 HMACE,这是一种异构多智能体协同进化框架,利用大型语言模型(LLM)自动化设计启发式算法,以解决 NP 难组合优化问题。实验表明,在旅行商问题(TSP)和装箱问题(BPP)等任务上,该方法在质量与效率的权衡方面优于单智能体和基准多智能体方法。