流偏好优化中的流形漂移:奖励黑客攻击的根本原因
摘要
本文将流形漂移确定为流偏好优化中奖励黑客攻击的根本原因,并介绍了ThermoDPO,一种温度控制的方法,该方法将优化锚定在偏好样本上,以保持数据流形的完整性并提高性能。
arXiv:2608.20011v1 公告类型:新
摘要:偏好优化是生成模型的一种标准对齐方法,但将其扩展到连续时间动力学仍然具有挑战性。在流匹配中,奖励驱动的更新修改传输轨迹,而没有对预训练数据流形的内在约束,可能导致终端样本偏离预训练支撑。我们将此失败模式形式化为流形漂移。理论上,我们证明最优流匹配能恢复终端数据分布,而偏好更新在诱导的终端位移具有非零法向分量时会离开预训练流形。作为补救措施,我们提出了ThermoDPO,一种温度控制的目标函数,将成对偏好优化锚定在偏好样本上。在不同的温度区间,该目标函数连接了拒绝采样微调和FlowDPO,并控制了一个基于逐点重建的流形距离代理指标。为了抵消低温下的信号减弱,我们进一步引入了加权变体ThermoDPO-weighted。在主要玩具基准测试中,ThermoDPO-weighted达到了StrictScore为0.899,相比之下,FlowDPO为0.629,FlowDPO+RFT为0.857。在CFG=4.5的SD3.5-M上,它将OCR提高了47.5%,四项指标的平均值提高了16.0%。
查看缓存全文
缓存时间: 2026/08/21 10:15
# 流偏好优化中的流形漂移:奖励黑客行为的根源 来源:https://arxiv.org/html/2608.20011 \tl\_set:Ne\tcboxmath tcboxmath\tl\_set:Ne\tcbhighmathtcbhighmath 廖盛毅 单位:快手科技 Kling 团队 张元兴 单位:快手科技 Kling 团队 万鹏飞 单位:快手科技 Kling 团队 林涛 单位:通讯作者\[0\.5em\] 贡献均等\[0\.25em\] 西湖大学
###### 摘要
偏好优化是生成模型的标准对齐方法,但将其扩展到连续时间动态系统并非易事。在流匹配中,奖励驱动的更新会修改传输轨迹,而没有固有的约束来保持预训练数据流形,从而可能使终端样本脱离预训练支持区域。我们将此故障模式形式化为*流形漂移*。理论上,我们证明最优流匹配能恢复终端数据分布,而偏好更新只要其诱导的终端位移具有非零法向分量,就会使终端分布偏离预训练流形。为解决此问题,我们提出ThermoDPO,一种温度控制的目标函数,它将成对偏好优化锚定在偏好样本上。在不同温度范围内,该目标函数连接了拒绝采样微调和FlowDPO,并控制一个基于逐点重建的流形距离代理指标。为抵消低温下的信号衰减,我们进一步引入了加权变体ThermoDPO-weighted。在主要玩具基准测试上,ThermoDPO-weighted达到了0\.8990\.899的StrictScore,相比之下,FlowDPO为0\.6290\.629,FlowDPO+RFT为0\.8570\.857。在CFG=4\.5=4\.5的SD3\.5-M模型上,它将OCR提升了47\.5%47\.5\\%,并将四个指标的平均值提升了16\.0%16\.0%\\%。参考图注图1:FlowDPO(左)与ThermoDPO-weighted(右)的对比。FlowDPO以流形漂移为代价改善了偏好,而ThermoDPO-weighted在保持质量的同时改善了偏好。## 1 引言
直接偏好优化(DPO)已成为将离散生成模型与人类判断对齐的简单有效范式\[51 (https://arxiv.org/html/2608.20011#bib.bib51), 47 (https://arxiv.org/html/2608.20011#bib.bib47), 56 (https://arxiv.org/html/2608.20011#bib.bib56), 58 (https://arxiv.org/html/2608.20011#bib.bib58)\]\]。受此成功启发,近期研究已开始将偏好优化扩展到连续生成模型,包括扩散模型\[23 (https://arxiv.org/html/2608.20011#bib.bib23), 54 (https://arxiv.org/html/2608.20011#bib.bib54), 55 (https://arxiv.org/html/2608.20011#bib.bib55), 60 (https://arxiv.org/html/2608.20011#bib.bib60), 9 (https://arxiv.org/html/2608.20011#bib.bib9)\]\]和基于流的模型\[2 (https://arxiv.org/html/2608.20011#bib.bib2), 37 (https://arxiv.org/html/2608.20011#bib.bib37), 57 (https://arxiv.org/html/2608.20011#bib.bib57), 38 (https://arxiv.org/html/2608.20011#bib.bib38)\]\]。这一方向至关重要,因为这些模型现在支撑着最先进的图像和视频生成,而偏好对齐对于可控性至关重要。参考图注图2:ThermoDPO的核心直觉。流匹配(灰色)将噪声传输到预训练数据流形。FlowDPO(绿色)可能通过流形外位移到达偏好区域,而ThermoDPO(红色)添加了一个优胜方锚点,旨在将重新分布的质量保持在更接近预训练流形的位置。形式化陈述及其假设总结在表1 (https://arxiv.org/html/2608.20011#S2.T1)中;其行为在玩具研究(图3 (https://arxiv.org/html/2608.20011#S3.F3))和真实图像研究(图1 (https://arxiv.org/html/2608.20011#S0.F1))中进行了评估。然而,将DPO转移到连续生成模型并非易事。与主要重新加权已完成输出概率的离散模型不同,连续模型通过沿学习到的轨迹传输噪声向数据流形生成样本。因此,此场景下的优化不仅修改输出选择,还修改传输动力学本身。尽管先前研究已注意到将DPO应用于连续模型时的经验性能下降\[9 (https://arxiv.org/html/2608.20011#bib.bib9), 39 (https://arxiv.org/html/2608.20011#bib.bib39)\]\],但这些发现很大程度上仍停留在实验观察层面。在本文中,我们认为这种退化源于一个根本的结构性原因:*奖励驱动的更新将轨迹引导向预训练数据流形仅弱支持的偏好区域*,我们形式化这种故障模式为流形漂移。这种漂移不仅仅是简单的几何偏差,它会损害预训练的生成先验,导致样本质量明显下降。我们在第3节 (https://arxiv.org/html/2608.20011#S3)中通过理论分析和支撑性分析证据(见图3 (https://arxiv.org/html/2608.20011#S3.F3))刻画了这个问题。为应对这些挑战,我们引入ThermoDPO,它通过温度控制的锚点将轨迹端点约束到预训练流形上。从分析上看,ThermoDPO统一了偏好对齐和流形保持:当τ↓0\tau\downarrow 0时,它退化为拒绝采样微调(RFT)\[65 (https://arxiv.org/html/2608.20011#bib.bib65), 5 (https://arxiv.org/html/2608.20011#bib.bib5)\]\];而当τ\>0\tau\>0时,它分解为温度缩放的FlowDPO\[39 (https://arxiv.org/html/2608.20011#bib.bib39)\]\]目标函数和一个非负的锚定项。这种分解揭示了奖励最大化与流形漂移之间的显式权衡。为解决在t=0附近的实际加权问题,我们还提出了一种重加权变体ThermoDPO-weighted。如图2 (https://arxiv.org/html/2608.20011#S1.F2)所示,ThermoDPO将更新导向偏好区域,同时仍锚定在预训练支持上,而不是将对齐和保持视为相互冲突的目标。我们在合成和真实图像基准上的实验证实,ThermoDPO-weighted实现了更优的权衡,在不影响样本保真度的前提下显著提升了目标指标。我们的主要贡献如下:
- • 我们识别并形式化了流形漂移,这是连续偏好优化中的一种故障模式,即微调轨迹的终端远离预训练的终端流形。
- • 我们提出了ThermoDPO,一种通过优胜方流形锚点增强成对偏好优化的方法,并引入了重加权实现ThermoDPO-weighted,以确保在实践中对终端流形进行稳健保持。
- • 我们为ThermoDPO和ThermoDPO-weighted提供了理论保证,表明它连接了拒绝采样微调和FlowDPO,同时为基于重建的流形漂移代理指标提供了一个上界。
- • 我们在玩具流形和真实图像基准上经验性地证明,ThermoDPO-weighted在偏好对齐和流形保持之间实现了更优的权衡,与FlowDPO变体相比,在不牺牲视觉质量的情况下提升了目标指标。
## 2 预备知识
### 2\.1 流匹配
流匹配\[37 (https://arxiv.org/html/2608.20011#bib.bib37), 2 (https://arxiv.org/html/2608.20011#bib.bib2)\]\]学习一个时间依赖的向量场,将简单的先验分布p1p\_\{1\}传输到数据分布p0p\_\{0\}。设x0∼p0\mathbf\{x\}\_\{0\}\sim p\_\{0\}表示数据样本,x1∼p1\mathbf\{x\}\_\{1\}\sim p\_\{1\}表示噪声样本。在本文使用的线性插值下,x1\mathbf\{x\}\_\{1\}等价地写作ε\epsilon。对于t∈\[0,1\]t\in\[0,1\],定义xt=\(1−t\)⋅x0\+t⋅x1,\mathbf\{x\}\_\{t\}=\(1\-t\)\cdot\mathbf\{x\}\_\{0\}\+t\cdot\mathbf\{x\}\_\{1\}\,,因此生成从噪声端点t=1t=1进行到数据端点t=0t=0。标准的流匹配目标将向量场vθv\_\{\theta\}拟合到该路径上的条件速度:LFM\(θ\)=E\(x0,x1,t\)\[‖vθ\(xt,t\)−\(x1−x0\)‖2\]\.\mathcal\{L\}\_\{\mathrm\{FM\}\}\(\\theta\)=\mathbb\{E\}\_\{\(\mathbf\{x\}\_\{0\},\mathbf\{x\}\_\{1\},t\)\}\left\[\\\|v\_\{\theta\}\(\mathbf\{x\}\_\{t\},t)\-(\mathbf\{x\}\_\{1\}\-\mathbf\{x\}\_\{0\})\\\|\^\{2\}\right\]\,\. 此处\(x0,x1\)∼γ(\mathbf\{x\}\_\{0\},\mathbf\{x\}\_\{1\})∼γ是p0p\_\{0\}和p1p\_\{1\}的耦合γ,t∼Unif\[0,1\]t∼\mathrm\{Unif\}\[0,1\]。学习到的向量场通过求解从s=1s=1到s=ts=t的ODE dxsds=vθ\(xs,s\)\frac\{d\mathbf\{x\}\_\{s\}\}\{ds\}=v\_\{\theta\}\(\mathbf\{x\}\_\{s\},s\)诱导出流映射Φ1→tθ\Phi\^\{\theta\}\_\{1\to t\}。
### 2\.2 连续时间模型中的直接偏好优化(DPO)
对于偏好数据集D=\{\(c,x0w,x0l\)\}\mathcal\{D\}=\{\(c,\mathbf\{x\}\_\{0\}^\{w\},\mathbf\{x\}\_\{0\}^\{l\})\}\,标准DPO\[51 (https://arxiv.org/html/2608.20011#bib.bib51)\]\]在当前模型πθ\pi\_\{\theta\}和冻结的参考模型πref\pi\_\{\mathrm\{ref\}\}下比较优胜者x0w\mathbf\{x\}\_\{0\}^\{w\}和失败者x0l\mathbf\{x\}\_\{0\}^\{l\}的对数似然:LDPO\(θ\)=−E\(c,x0w,x0l\)∼D\[logσ\(βlogπθ\(x0w\|c\)πref\(x0w\|c\)−βlogπθ\(x0l\|c\)πref\(x0l\|c\)\)\]\.\mathcal\{L\}\_\{\text\{DPO\}\}\(\\theta\)=\-\\mathbb\{E\}\_\{\(c,\mathbf\{x\}\_\{0\}^\{w\},\mathbf\{x\}\_\{0\}^\{l\})\sim\mathcal\{D\}\}\left\[\\log\\sigma\\left\(\\beta\\log\\frac\{\\pi\_\{\theta\}\(\mathbf\{x\}^\{w\}\_\{0\}\|c\)\}\{\\pi\_\{\mathrm\{ref\}\}\(\mathbf\{x\}^\{w\}\_\{0\}\|c\)\}\-\\beta\\log\\frac\{\\pi\_\{\theta\}\(\mathbf\{x\}^\{l\}\_\{0\}\|c\)\}\{\\pi\_\{\mathrm\{ref\}\}\(\mathbf\{x\}^\{l\}\_\{0\}\|c\)\}\\right\)\\right\]\.\(1\) 由于在训练期间评估连续模型的精确对数似然在计算上难以承受,先前的工作\[39 (https://arxiv.org/html/2608.20011#bib.bib39), 38 (https://arxiv.org/html/2608.20011#bib.bib38), 71 (https://arxiv.org/html/2608.20011#bib.bib71), 60 (https://arxiv.org/html/2608.20011#bib.bib60)\]\]将logπθ\(x0∣c\)\log\pi\_\{\theta\}\(\mathbf\{x\}\_\{0\}\mid c\)替换为按时间步的代理指标‖vθ\(xt,t\)−\(x1−x0\)‖2\\|v\_\{\theta\}\(\mathbf\{x\}\_\{t\},t)\-(\mathbf\{x\}\_\{1\}\-\mathbf\{x\}\_\{0\})\\|\^\{2\}\。DiffusionDPO\[60 (https://arxiv.org/html/2608.20011#bib.bib60)\]\]使用去噪误差,而FlowDPO\[39 (https://arxiv.org/html/20011#bib.bib39)\]\]将DPO应用于流匹配回归损失。为推导FlowDPO,我们定义以下记法,省略共享条件c:lθw/l\displaystyle\\ell\_\{\theta\}^\{w/l\}:=‖vθ\(xtw/l,t\)−\(x1w/l−x0w/l\)‖2,\displaystyle:=\\\|v\_\{\theta\}\(\mathbf\{x\}\_\{t\}^\{w/l\},t)\-(\mathbf\{x\}\_\{1\}^\{w/l\}\-\mathbf\{x\}\_\{0\}^\{w/l\})\\\|\^\{2\}, lrefw/l\displaystyle\\ell\_\{\mathrm\{ref\}\}^\{w/l\}:=‖vref\(xtw/l,t\)−\(x1w/l−x0w/l\)‖2,\displaystyle:=\\\|v\_\{\mathrm\{ref\}\}\(\mathbf\{x\}\_\{t\}^\{w/l\},t)\-(\mathbf\{x\}\_\{1\}^\{w/l\}\-\mathbf\{x\}\_\{0\}^\{w/l\})\\\|\^\{2\}, \(2\) Δθw\displaystyle\\Delta\_\{\theta\}^\{w\}:=lθw−lrefw,\displaystyle:=\\ell\_\{\theta\}^\{w\}\-\\ell\_\{\mathrm\{ref\}\}^\{w\}, Δθl\displaystyle\\Delta\_\{\theta\}^\{l\}:=lθl−lrefl\.\displaystyle:=\\ell\_\{\theta\}^\{l\}\-\\ell\_\{\mathrm\{ref\}\}^\{l\}\.\(3\) 令vθv\_\{\theta\}和vrefv\_\{\mathrm\{ref\}\}为对应的向量场,FlowDPO目标函数为:LFlowDPO\(θ\)=E\[−logσ\(−β\(Δθw−Δθl\)\)\]\.\mathcal\{L\}\_\{\mathrm\{FlowDPO\}\}\(\\theta\)=\\mathbb\{E\}\left\[\-\\log\\sigma\\\!\\bigl\(\-\\beta(\\Delta\_\{\theta\}^\{w\}\-\\Delta\_\{\theta\}^\{l\})\\bigr\)\\right\]\,\. 表1:定理路线图。分析从刻画流形保持和漂移,通过将ThermoDPO连接到RFT和FlowDPO,到控制优胜方流形漂移。结果主要陈述 I. 流形保持与漂移 定理3\.4 (https://arxiv.org/html/2608.20011#S3.Thmmyth4) FM可以精确恢复p0p\_\{0\}及其终端支持(图2 (https://arxiv.org/html/2608.20011#S1.F2)中的灰色路径)。 定理3\.5 (https://arxiv.org/html/2608.20011#S3.Thmmyth5) 诱导的端点更新中非零的法向分量足以导致流形外漂移(图2 (https://arxiv.org/html/2608.20011#S1.F2)中的绿色路径)。 II. 与RFT和FlowDPO的连接 定理4\.1 (https://arxiv.org/html/2608.20011#S4.Thmmyth1) 当τ↓0\tau\downarrow 0时,ThermoDPO条件性地退化为RFT目标函数。 定理4\.2 (https://arxiv.org/html/2608.20011#S4.Thmmyth2) 当τ\>0\tau\>0时,ThermoDPO分解为FlowDPO和一个优胜方锚定项。 III. 流形漂移控制 定理4\.3 (https://arxiv.org/html/2608.20011#S4.Thmmyth3) 逐点损失上界了重建优胜者到Mdata\mathcal\{M\}\_\{\mathrm\{data\}\}的平方距离(图2 (https://arxiv.org/html/2608.20011#S1.F2)中的红色路径);这不是一个分布级别的保证。
## 3 连续偏好优化中的流形漂移
##### 动机:流形支持与漂移问题。偏好优化通常从具有向量场vrefv\_\{\mathrm\{ref\}\}和流映射Φ1→tref\Phi\^\{\mathrm\{ref\}\}\_\{1\to t\}的预训练参考模型开始。遵循流形假设\[14 (https://arxiv.org/html/2608.20011#bib.bib14), 29 (https://arxiv.org/html/2608.20011#bib.bib29)\]\],我们假设自然数据集中在低维集合Mdata:=supp\(p0\)\mathcal\{M\}\_\{\mathrm\{data\}\}:=\operatorname\{supp\}\(p\_\{0\}\)附近。在实践中,我们使用*预训练终端流形*作为该集合的操作代理:M0:=supp\(\(Φ1→0ref\)\#p1\)\.\mathcal\{M\}\_\{0\}:=\operatorname\{supp\}\\!\\left\(\(\Phi\^\{\mathrm\{ref\}\}\_\{1\to 0\}\)\_\{\\#\}p\_\{1\}\\right\)\,. 对于任何学习模型θ,我们将其终端样本和分布表示为x0:=Φ1→0θ\(x1\)\mathbf\{x\}\_\{0\}:=\Phi\^\{\theta\}\_\{1\to 0\}\(\mathbf\{x\}\_\{1\}\)和μθ:=\(Φ1→0θ\)\#p1\mu\_\{\theta\}:=\(\Phi\^\{\theta\}\_\{1\to 0\}\)\_\{\\#\}p\_\{1\}。当偏好优化将μθ\mu\_\{\theta\}从M0\mathcal\{M\}\_\{0\}引导向缺乏生成支持的区域时,就出现了*流形漂移*问题。为严格分析此问题,我们首先建立终端流形上流(定义3\.1 (https://arxiv.org/html/2608.20011#S3.Thmmyth1))和流形漂移(定义3\.2 (https://arxiv.org/html/2608.20011#S3.Thmmyth2))的形式化描述。
###### 定义3\.1(终端流形上流)。令M0⊂Rd\mathcal\{M\}\_\{0\}\\subset\mathbb\{R\}^\{d\}表示预训练终端流形,令μθ:=\(Φ1→0θ\)\#p1\mu\_\{\theta\}:=\(\Phi\^\{\theta\}\_\{1\to 0\}\)\_\{\\#\}p\_\{1\}表示由微调流映射Φ1→0θ\Phi\^\{\theta\}\_\{1\to 0\}诱导的终端分布。我们称Φ1→0θ\Phi\^\{\theta\}\_\{1\to 0\}是*终端流形上*的,如果supp\(μθ\)⊆M0\.\operatorname\{supp\}\(\mu\_\{\theta\}\)\\subseteq\mathcal\{M\}\_\{0\}\,.
###### 定义3\.2(流形漂移)。令μθ:=\(Φ1→0θ\)\#p1\mu\_\{\theta\}:=\(\Phi\^\{\theta\}\_\{1\to 0\}\)\_\{\\#\}p\_\{1\}表示由微调流映射Φ1→0θ\Phi\^\{\theta\}\_\{1\to 0\}诱导的终端分布。我们称Φ1→0θ\Phi\^\{\theta\}\_\{1\to 0\}相对于预训练终端流形M0\mathcal\{M\}\_\{0\}表现出*流形漂移*,如果supp\(μθ\)⊈M0\.\operatorname\{supp\}\(\mu\_\{\theta\}\)\\nsubseteq\mathcal\{M\}\_\{0\}\,.
###### 注记3\.3(直观解释)。流形M0\mathcal\{M\}\_\{0\}可被视为根据流形假设的真实图像流形,或预训练期间学习到的终端流形。偏好优化的预期作用是在保持预训练期间学到的语义和感知结构的同时,将概率质量重新加权到偏好区域。流形漂移指的是此过程的失败。相似文章
我们真的在倾斜吗?流模型与扩散模型中奖励引导的机制
本文解释了奖励引导的流模型和扩散模型中奖励作弊的根本原因,将其归因于Doob h函数的有限粒子插件估计,并提出了一种奖励阻尼调度方案,在不增加计算成本的情况下校正模态内偏差。
Flow-DPPO: 针对流匹配模型的散度近端策略优化
Flow-DPPO 在流匹配模型中使用散度近端约束替代比率裁剪,通过精确计算 KL 散度,提升了训练稳定性与多目标优化效果。
xi-DPO:通过比率奖励边际的直接偏好优化
本文介绍了 xi-DPO,这是一种新颖的偏好优化方法,通过将目标重构为最小化与最优比率奖励边际的距离,解决了 SimPO 中的超参数调整难题。实验结果表明,xi-DPO 在开放基准测试中优于现有方法。
分布漂移下的极小极大最优预测流匹配
本文研究分布漂移下的预测流匹配,提出了 DyProd-FM。该方法在按二进尺度划分的历史前缀上重新拟合,并使用休眠 Prod 主算法,在相对速度风险变差和目标分布变差两种情形下均实现极小极大最优的动态遗憾,且无需凸性或曲率假设。
无漂移扩散策略优化
DiPOD通过交错自蒸馏与策略梯度更新来稳定扩散策略优化,保持紧凑的ELBO,防止双重漂移现象,在语言和连续控制任务中均能获得更高奖励。