分布偏移下稳定自适应的损失平滑

# 分布偏移下稳定适应的损失平滑  
来源：https://arxiv.org/html/2607.00634  

Darshan Patil¹,²,³、Ekaterina Lobacheva¹,²,³、Razvan Pascanu²、Sarath Chandar¹,²,⁴,⁵  
¹Chandar Research Lab  
²Mila – Quebec AI Institute  
³蒙特利尔大学  
⁴蒙特利尔理工学院  
⁵加拿大CIFAR AI讲席  
通讯作者：darshan\.patil@mila\.quebec  

###### 摘要  

在微调和强化学习等场景中，神经网络通常会在分布偏移下进行适应。标准的适应方法通常直接优化目标目标，导致从源训练目标发生突变。这种突变可能会扭曲已经学到的表示，包括那些对新任务可能仍然有用的特征。我们研究更渐进的过渡是否能改善适应。我们提出**损失平滑（loss smoothing）**，一种简单的方法，在适应开始时在源训练目标和目标训练目标之间进行线性插值。这种平滑过渡有助于保留源分布中的有用特征，同时仍能让模型专精于目标分布。在受控的有监督偏移、预训练视觉适应、离线到在线和在线强化学习，以及语言模型微调中，我们发现损失平滑持续提高了性能，表明更平滑的目标过渡是模型适应中广泛有用的工具。  

## 1 引言  

现代神经网络很少被训练一次后就不再改动。预训练语言模型被调整为指令遵循数据（Ouyang等人，2022 (https://arxiv.org/html/2607.00634#bib.bib40)；Wang等人，2023 (https://arxiv.org/html/2607.00634#bib.bib57)）；在一个任务上训练的分类器会被更新用于下一个任务（Kirkpatrick等人，2017 (https://arxiv.org/html/2607.00634#bib.bib22)；Sodhani等人，2022 (https://arxiv.org/html/2607.00634#bib.bib48)）；从离线数据训练的策略通过环境交互进行微调（Nair等人，2021 (https://arxiv.org/html/2607.00634#bib.bib37)；Nakamoto等人，2023 (https://arxiv.org/html/2607.00634#bib.bib38)；Shin等人，2025 (https://arxiv.org/html/2607.00634#bib.bib47)）。在每种情况下，适应从一个已包含有用特征的模型开始，但随后将该模型暴露于新的输入数据分布、新的学习信号甚至新的目标。因此，适应问题不仅仅是优化新目标，而是在此过程中有效利用模型中已有的表示。  

这种观点改变了稳定性在适应中的作用。稳定性通常被视为适应的对立面：过于接近源解的模型可能无法拟合新任务，但目标并非尽可能多地移动。许多迁移包含**任务共享**成分，如可重用特征、价值估计、行为或表示，以及**任务不一致**成分，与目标目标冲突。成功的适应应保留前者，同时修改后者。例如，离线RL策略可能包含有用的探索行为，即使离线目标对于在线改进过于保守；预训练语言模型可能包含广泛的通用能力，即使指令调整将其推向狭窄的响应分布。  

先前的工作已经观察到特征扭曲微调（Kumar等人，2022 (https://arxiv.org/html/2607.00634#bib.bib24)）、离线到在线RL（Nakamoto等人，2023 (https://arxiv.org/html/2607.00634#bib.bib38)；Shin等人，2025 (https://arxiv.org/html/2607.00634#bib.bib47)）和过度训练的语言模型微调（Springer等人，2025 (https://arxiv.org/html/2607.00634#bib.bib50)）中的相关脆弱性。我们认为脆弱的适应不仅可能源于目标目标的困难，还可能源于进入目标的过渡选择不当。在标准微调中，一旦新阶段开始，源目标被丢弃，模型直接优化目标目标。这种硬切换可能恰好在模型对哪些学到的表示应被保留所知甚少时，产生大而不定向的更新。  

我们提出**损失平滑（loss smoothing）**，一种简单的方法，用更平滑的目标过渡替代这种不连续的过渡。在适应阶段开始时，我们不只优化目标目标，而是优化源目标和目标目标的凸插值。然后逐渐退火插值系数，直到恢复普通的目标训练。因此，早期更新保持接近源训练动态，保留有用特征，同时模型开始整合目标任务信息。后期更新恢复目标目标，使模型能够专精于新任务。其动机类似于延续方法、课程学习和神经网络平滑，这些方法也通过用更平滑的路径替代突变问题来改进优化（Allgower和Georg，1990 (https://arxiv.org/html/2607.00634#bib.bib3)；Bengio等人，2009 (https://arxiv.org/html/2607.00634#bib.bib9)；Gulcehre等人，2017 (https://arxiv.org/html/2607.00634#bib.bib20)）。  

我们的方法刻意通用。源阶段和目标阶段可能在输入分布、学习信号或损失函数上有所不同。损失平滑仅需要当前参数下先前目标的估计，这可以通过重放数据、存储的标签或直接访问先前的训练分布获得。这使得它适用于通常被分开研究的场景：微调、有监督的持续适应和强化学习。  

经验上，我们发现平滑过渡在所有这些场景中都改善了适应。在受控的有监督偏移中，损失平滑提高了测试准确率和可训练性，表明保留有用结构可以使新任务更容易优化。额外的有监督和预训练视觉分析表明，平滑还减少了任务切换后的短暂崩溃，并改善了适应过程中的保留-适应权衡。在离线到在线强化学习（RL）中，平滑在保守方法（过于接近离线预训练）和纯在线方法（探索困难时失败）之间提供了中间地带。在在线RL中，平滑新旧价值目标甚至在已经包含稳定机制的算法之上也提高了性能。在语言模型微调中，平滑从预训练到指令调整的过渡减少了过度训练引起的脆弱性，表明灾难性适应可能取决于进入下游目标的路径，而不仅仅取决于预训练检查点或最终损失。  

我们的贡献是：  
- •我们将适应形式化为训练目标之间的过渡，并识别出在分布偏移下，对目标目标采用硬切换是脆弱优化的一个来源。  
- •我们引入了损失平滑，一种轻量级的目标插值方法，适用于输入、输出和损失函数偏移下的适应。  
- •我们展示了这种简单的基于路径的干预在持续有监督分布偏移、预训练视觉适应、离线到在线RL、在线RL和LLM微调中改善了适应。  
- •我们提供的证据表明，在适应开始时保留可重用特征可以在训练后期带来更强的下游专精能力。  

## 2 相关工作  

#### 分布偏移下的适应。  
从预训练模型进行微调是一种标准的适应方法，但多条工作线表明，由此产生的更新在分布偏移下可能是脆弱的。微调可能扭曲预训练特征并损害分布外性能（Kumar等人，2022 (https://arxiv.org/html/2607.00634#bib.bib24)），并且适应可能强烈依赖于网络的哪些部分允许改变（Lee等人，2023 (https://arxiv.org/html/2607.00634#bib.bib30)；Tomihari和Sato，2024 (https://arxiv.org/html/2607.00634#bib.bib55)；Trivedi等人，2023 (https://arxiv.org/html/2607.00634#bib.bib56)）。神经网络的暖启动也不总是等同于用更好的初始化从头训练，因为优化轨迹本身发生了变化（Ash和Adams，2020 (https://arxiv.org/html/2607.00634#bib.bib5)）。我们的工作同意适应应保留有用的预训练结构，但关注一个互补的干预：改变优化从源目标移动到目标目标所经过的中间目标路径。  

#### 持续学习。  
持续学习研究模型如何在任务序列中适应而不发生灾难性遗忘（Sodhani等人，2022 (https://arxiv.org/html/2607.00634#bib.bib48)）。经典方法通过参数正则化（Kirkpatrick等人，2017 (https://arxiv.org/html/2607.00634#bib.bib22)）、重放（Rolnick等人，2019 (https://arxiv.org/html/2607.00634#bib.bib43)）或从早期模型进行蒸馏（Li和Hoiem，2018 (https://arxiv.org/html/2607.00634#bib.bib31)）来保留先前知识。黑暗经验重放进一步存储先前的模型输出，并在后续任务中将其作为目标进行重放（Buzzega等人，2020 (https://arxiv.org/html/2607.00634#bib.bib11)），这使得它特别接近于损失平滑从存储的目标估计旧目标的场景。最近的工作还强调了任务变化期间的短暂失败，包括稳定性差距（Harun和Kanan，2024 (https://arxiv.org/html/2607.00634#bib.bib21)），以及深度学习和强化学习中的可塑性损失（Dohare等人，2024 (https://arxiv.org/html/2607.00634#bib.bib12)；Nikishin等人，2022 (https://arxiv.org/html/2607.00634#bib.bib39)；Tang等人，2025 (https://arxiv.org/html/2607.00634#bib.bib52)；Lyle等人，2024 (https://arxiv.org/html/2607.00634#bib.bib34)）。损失平滑并不将稳定性视为一种永久约束，而是仅在适应开始时将先前目标作为临时指南，然后退火到目标目标。Liu和Mou（2026 (https://arxiv.org/html/2607.00634#bib.bib32)）也研究了平滑任务过渡边界，但依赖于特定于分布或数据的启发式方法，而不是源目标和目标目标的通用插值。  

#### 平滑优化路径。  
通过用一系列更容易或相近的问题替代困难问题来改善优化的思想出现在延续方法（Allgower和Georg，1990 (https://arxiv.org/html/2607.00634#bib.bib3)）、课程学习（Bengio等人，2009 (https://arxiv.org/html/2607.00634#bib.bib9)）和神经网络平滑或软化（Gulcehre等人，2017 (https://arxiv.org/html/2607.00634#bib.bib20)）中。渐进式领域适应同样研究通过源域和目标域之间的中间分布进行学习（Kumar等人，2020 (https://arxiv.org/html/2607.00634#bib.bib25)）。这些方法平滑数据、模型或损失景观，或假设可以访问中间领域。损失平滑处理的是不同的情况：学习者已经有一个源训练的模型，目标是避免不连续地切换到新目标。中间目标通过插值源训练损失和目标训练损失来构建，使得该方法适用于输入、学习信号和目标族的变化。  

#### 离线到在线强化学习。  
离线到在线RL研究如何从固定数据集初始化智能体，然后通过在线交互进行改进。离线RL方法如TD3+BC（Fujimoto和Gu，2021 (https://arxiv.org/html/2607.00634#bib.bib16)；Tarasov等人，2023 (https://arxiv.org/html/2607.00634#bib.bib53)）和SPOT（Wu等人，2022 (https://arxiv.org/html/2607.00634#bib.bib58)）通过对策略学习进行正则化来避免不支持的动作，而离线到在线方法则决定在交互过程中应保留多少离线数据或保守性。AWAC使用离线数据加速在线RL（Nair等人，2021 (https://arxiv.org/html/2607.00634#bib.bib37)），Cal-QL校准保守的离线预训练以实现高效的在线微调（Nakamoto等人，2023 (https://arxiv.org/html/2607.00634#bib.bib38)），RLPD在在线训练中混合离线数据和在线数据（Ball等人，2023 (https://arxiv.org/html/2607.00634#bib.bib8)）。其他离线到在线方法修改预训练或微调过程本身（Shin等人，2025 (https://arxiv.org/html/2607.00634#bib.bib47)）。这些方法解决了与我们工作相同的源到目标张力：过于接近离线策略可能限制改进，而过于突然切换到无约束的在线RL可能破坏学习的稳定性。我们的贡献与这些算法选择是正交的：我们平滑离线目标和在线目标之间的过渡，并且在损失族发生变化时，我们还平滑了目标的尺度。  

#### 语言模型微调。  
语言模型微调也涉及突变，从广泛的预训练分布到更窄的指令微调或偏好微调数据集。先前的工作表明，微调可能降低通用或分布外性能（Kumar等人，2022 (https://arxiv.org/html/2607.00634#bib.bib24)），并且更长的预训练可能通过灾难性过度训练和渐进敏感性使得检查点更难以微调（Springer等人，2025 (https://arxiv.org/html/2607.00634#bib.bib50)）。源数据混合也用于指令微调和对齐；例如，InstructGPT包含一个预训练梯度项，以减少RLHF期间的能力回退（Ouyang等人，2022 (https://arxiv.org/html/2607.00634#bib.bib40)）。最近的工作进一步表明，在微调期间包含预训练数据（Kotha和Liang，2026 (https://arxiv.org/html/2607.00634#bib.bib23)）以及在预训练期间包含专门的微调数据（Baek等人，2026 (https://arxiv.org/html/2607.00634#bib.bib6)）都可以提高下游性能。我们使用Springer等人（2025 (https://arxiv.org/html/2607.00634#bib.bib50)）中的设置来测试过度训练的负面影响是否不仅取决于预训练检查点，还取决于预训练到微调之间的过渡路径。  

## 3 损失平滑  

我们考虑一个参数为θ的模型f\_θ，该模型经历一系列训练阶段e=1,2,...。我们将每个训练阶段视为在输入u和学习信号s上诱导出一个分布。输入u是模型所评估的对象，例如图像、提示、状态、转换或轨迹。信号s指定模型应如何在该输入上更新，例如标签、下一个标记目标、奖励、回报、优势或价值目标。因此，每个阶段都会诱导出一个目标：  

J\_e(θ)=E\_{(u,s)∼D\_e(θ)}\[ℓ\_e(θ;u,s)\] \quad (1)  

我们的公式自然地暴露了三种不同的分布偏移来源。u的偏移对应于训练输入分布的变化，例如域适应或RL策略探索状态空间的不同部分。s的偏移对应于提供给模型的学习信号的变化。当微调设置中目标分布改变、RL中奖励信号改变甚至目标网络更新时，都可能发生这种情况。