PARALLEL:一种受前额叶对齐强化启发的语言模型学习范式,在显式约束下进行自适应
摘要
本文介绍了PARALLEL,一种受前额叶对齐强化启发、用于语言模型学习的方法。该方法决定对每个样本进行适配的时机和强度,使用独立的控制器信号来提高适配效率,同时保持高性能。
arXiv:2607.28982v1 公告类型:新
摘要:近期语言模型在各种任务上表现出色,但传统的适配方式对所有训练样本施加相同的更新,而不考虑其局部更新收益。我们提出PARALLEL,一种受前额叶对齐强化启发的语言模型学习方法。受目标相关控制与不确定性相关控制的互补角色启发,PARALLEL将这些形式的信息表示为独立的控制器信号,并将其与当前模型表示相结合。一个受强化启发的控制器利用即时效用-成本反馈,为每个样本分配依赖于样本的更新强度。因此,PARALLEL学习在何时以及以多强的力度适配每个样本,优先进行有收益的更新,同时限制不必要的参数变化。与选择性基线相比,PARALLEL更高效地利用可用更新,同时保留了Full-adaptation性能的94.1%至99.2%。除了多项选择推理之外,在XSum和CNN/DailyMail上的实验表明,PARALLEL保留了Full adaptation所取得ROUGE-1和ROUGE-2分数的96.9%至98.6%,以及相应ROUGE-L分数的98.8%至98.9%。在相同累计适配时间或GPU能耗下进行比较时,PARALLEL在代表性运行中取得了更高的ARC准确率,并展现出比Full adaptation更稳定的后期适配轨迹。这些结果表明,学习何时以及以多强力度更新每个样本有助于在部署后的流式适配中实现稳定高效,同时避免不必要的更新。
查看缓存全文
缓存时间: 2026/08/03 07:34
###### 摘要
近期语言模型在多种任务上取得了强劲表现,但常规适应方法对所有训练样本采用统一的更新方式,而不考虑每个样本的局部更新收益。我们提出PARALLEL,一种受前额叶对齐强化启发、在明确限制下进行语言模型学习的方法。受目标相关控制与不确定性相关控制的互补角色启发,PARALLEL将这两类信息表示为独立的控制器信号,并将其与当前模型表示相结合。一个受强化启发的控制器利用即时效用-成本反馈为每个样本分配依赖样本的更新强度。因此,PARALLEL学习何时以及以多强的程度适应每个样本,优先进行有益的更新,同时限制不必要的参数变化。PARALLEL比选择性基线方法更高效地利用可用更新,同时保留Full adaptation(全量适应)性能的94.1%–99.2%。除多项选择推理外,在XSum和CNN/DailyMail上的实验表明,PARALLEL保留了Full adaptation所取得ROUGE-1和ROUGE-2分数的96.9%–98.6%,以及相应ROUGE-L分数的98.8%–98.9%。在相同累计适应时间或GPU能耗下进行比较时,代表性运行中PARALLEL取得更高的ARC准确率,并展现出比Full adaptation更稳定的后期适应轨迹。这些结果表明,学习何时以及以多强程度更新每个样本,能够在避免不必要更新的同时,支持稳定高效的部署后流式适应。
Source: https://arxiv.org/html/2607.28982
## 引言
近期语言模型在广泛任务上表现优异,包括自然语言理解、推理和知识密集型问答([Zhao et al. 2026](https://arxiv.org/html/2607.28982#bib.bib1);[Chang et al. 2024](https://arxiv.org/html/2607.28982#bib.bib2))。然而,将这些模型适应到特定任务数据仍需要重复的参数更新。常规学习方法通常对所有训练样本统一施加更新,即使某个更新的局部收益会因样本而异。因此,反复更新低效用样本可能会消耗适应时间和能量,却无法带来成比例的性能提升([Yoon et al. 2026](https://arxiv.org/html/2607.28982#bib.bib28))。这一局限尤其与部署后流式适应相关:通用语言模型可能需要针对目标任务分布进行监督适应,但对每个到来的标注样本施加全强度更新,可能会积累大量时间和能量而无法获得成比例的性能收益([Hoi et al. 2021](https://arxiv.org/html/2607.28982#bib.bib24))。因此,我们的目标是根据估计的效用,在数据流上分配适配器更新,从而在支持有效目标任务适应的同时避免不必要的更新。
现有方法通过不同策略提高适应效率。参数高效方法减少了可训练参数数量([Hu et al. 2022](https://arxiv.org/html/2607.28982#bib.bib9))。数据选择方法则基于不确定性或难度对样本进行优先级排序([Settles 2009](https://arxiv.org/html/2607.28982#bib.bib10);[Paul et al. 2021](https://arxiv.org/html/2607.28982#bib.bib11))。然而,参数高效适应并不控制更新如何在样本间分配,而数据选择方法通常对每个被选样本施加相同的更新强度。因此,这两种方法都无法联合决定是否需要进行更新,以及每个输入样本应以多强的程度影响适应。
为解决这一问题,我们从人类外侧前额叶皮层的一个组织原则中汲取灵感。近期神经影像学证据表明,目标相关信息和不确定性相关信息以因子化的方式被表征,从而支持稳定而灵活的学习([Sung et al. 2025](https://arxiv.org/html/2607.28982#bib.bib4))。这一发现启发了一种控制结构,其中目标相关信号和不确定性相关信号被分别建模,然后结合起来调节语言模型适应。
参见图 1:所提出的PARALLEL框架概览。
基于这一原则,我们提出PARALLEL——一种受前额叶对齐强化启发、在明确限制下进行语言模型学习的方法(Prefrontal-Aligned Reinforcement Approach for Language-Model Learning under Explicit Limits)。PARALLEL并不是在整个数据流上施加统一更新,而是学习是否以及以多强程度适应每个输入样本,从而支持高效的部署后适应,同时避免不必要的更新。PARALLEL将目标相关信息和不确定性相关信息表示为独立的控制器信号,并将其与当前模型表示相结合。一个通过单步REINFORCE训练的控制器利用这些信号,决定在每个标注样本上是否以及以多强程度更新适配器。它从即时效用-成本反馈中学习,同时一个硬性的累计更新量约束限制了整个流上的总更新强度。
我们在三个推理基准和两个摘要基准上评估PARALLEL。主要实验将PARALLEL与Frozen和Full adaptation进行比较。此外,在所有五个基准上进行预算匹配的额外比较,并在基准设置中开展跨骨干网络评估、控制器输入消融以及流级别的适应时间和GPU能耗测量。结果表明,PARALLEL有效地分配了有限的更新预算,并在三个紧凑型骨干网络上保留了Full adaptation下的大部分性能。因此,PARALLEL应被视作一种控制更新分配机制,而非加速离线微调的手段。
主要贡献如下:
- •我们提出PARALLEL,它使用分离的目标相关信号和不确定性相关信号,通过三个动作执行在线LoRA更新控制,在累计更新量约束下决定是否以及以多强程度更新每个输入样本。
- •我们使用多个语言模型,在三个推理基准和两个摘要基准上展示了有效的预算受限适应。
本文其余部分组织如下:第2节回顾相关工作,第3节介绍PARALLEL,第4节报告实验评估,第5节总结全文。
## 相关工作
### 高效适应方法
全参数微调会更新预训练语言模型的所有参数,因此需要大量内存和计算([Devlin et al. 2019](https://arxiv.org/html/2607.28982#bib.bib13))。参数高效方法则减少可训练参数的数量,同时保留预训练骨干网络。LoRA在保持原始模型参数冻结的同时引入可训练的低秩组件([Hu et al. 2022](https://arxiv.org/html/2607.28982#bib.bib9))。在我们的评估中,*Full adaptation*对适应流中的每个样本施加相同的LoRA配置。数据选择策略在有限的样本预算下决定使用哪些样本进行适应。*Random selection*从固定规模子集中均匀随机抽取([Citovsky et al. 2021](https://arxiv.org/html/2607.28982#bib.bib14))。基于不确定性的主动学习优先选择当前模型最不确信的样本([Lewis and Gale 1994](https://arxiv.org/html/2607.28982#bib.bib15);[Settles 2009](https://arxiv.org/html/2607.28982#bib.bib10))。其基于熵的变体按预测熵对样本排序,并选择熵值最高的样本([Settles 2009](https://arxiv.org/html/2607.28982#bib.bib10))。参数高效方法控制训练哪些参数,而数据选择方法控制选择哪些样本。PARALLEL则顺序处理标注适应流,并学习样本级的更新强度,同时通过累计约束防止过度更新。
### 用于适应控制的强化学习
强化学习已被广泛应用于语言模型,以使生成响应与任务目标、人类偏好和指令遵循要求对齐([Ouyang et al. 2022](https://arxiv.org/html/2607.28982#bib.bib16))。在常规的人类反馈强化学习中,语言模型定义了一个关于生成词元或响应的策略,奖励反馈直接优化其生成行为。PARALLEL则采用一个受强化启发的控制器进行适应控制。对于每个标注样本,控制器选择监督适配器更新的强度,并从即时效用-成本反馈中学习。适配器本身仅通过监督任务损失进行优化。
### 前额叶对齐的学习控制
近期神经影像学证据表明,目标相关信息和不确定性相关信息在外侧前额叶皮层中以因子化方式被表征,从而支持稳定而灵活的学习([Sung et al. 2025](https://arxiv.org/html/2607.28982#bib.bib4))。这一组织方式启发我们将当前任务目标和预测不确定性的信息视为不同但互补的学习控制信号。PARALLEL将这一原则作为一种计算抽象加以采纳。它将目标相关信息和不确定性相关信息表示为独立的控制器信号,并与当前模型表示相结合,以在样本间分配更新强度。
## 系统设计
如图1所示,PARALLEL控制每个到来的标注样本是否以及以多强程度更新适配器。对于每个样本,它计算一个表示与目标响应一致性的目标相关信号,以及一个反映当前预测可靠性的不确定性相关信号。我们的PARALLEL控制器将这些信号与当前模型表示相结合,并选择更新强度。预训练语言模型骨干网络保持冻结,而控制器利用目标相关信号和不确定性相关信号,决定是否以及以多强程度更新每个样本的LoRA适配器。
### PARALLEL中的控制信号
设 D=\{(x_t,y_t^\star)\}_{t=1}^T 表示标注适应流,其中 T 是适应样本总数,x_t 是第 t 个样本的问题或提示,y_t^\star 是其目标响应。参数为 θ 的语言模型骨干网络保持冻结,任务适应则通过参数为 θ_a 的模型进行。PARALLEL顺序观察标注样本,并决定对每个样本是否以及以多强程度更新 θ_a。
在选择更新动作之前,PARALLEL评估当前模型对标注样本 (x_t,y_t^\star) 的学习程度。它使用当前模型参数进行一次诊断性前向传播,而不施加更新。由此得到的预测质量作为控制器的目标相关证据:预测较差支持较强的更新,而预测准确则支持轻度更新或跳过该样本。由于在监督适应过程中可以获得目标响应 y_t^\star,PARALLEL使用语言模型监督微调中采用的标准自回归目标来评估它([Chatterjee et al. 2025](https://arxiv.org/html/2607.28982#bib.bib26))。具体而言,每个目标词元都利用输入及其之前的目标词元真值进行评估。诊断性前向传播产生如下长度归一化的更新前目标损失:
lt−=−1Nt∑j=1Ntlogpθ,θa(yt,j⋆∣xt,yt,<j⋆)
其中 N_t 是目标响应的长度,p_{θ,θ_a} 表示当前模型对第 j 个目标词元的预测概率。PARALLEL还利用同一诊断前向传播中的预测概率计算逐词元熵,并取其长度归一化的平均值作为不确定性信号。上述目标相关信号和不确定性相关信号被组合起来,以在考虑当前模型表示的同时决定更新强度。
### 动作空间与预算约束
PARALLEL使用离散动作 a_t \in \{\text{Skip}, \text{Light}, \text{Strong}\} 控制 LoRA 适配器在样本 t 上的更新。每个动作对应的更新权重为:
w(a_t) = 0 \quad \text{用于 Skip}, \qquad w(a_t) = \lambda_t \quad \text{用于 Light}, \qquad w(a_t) = 1 \quad \text{用于 Strong},
其中 \lambda_t \in [\lambda_{\min}, \lambda_{\max}] 控制 Light 动作的相对强度。当 a_t = \text{Skip} 时,不执行优化器更新。当 a_t = \text{Light} 或 a_t = \text{Strong} 时,PARALLEL在监督目标损失上执行一次 AdamW 步骤,学习率分别按 \lambda_t 或 1 进行缩放。
控制器由一个小型门控循环单元(GRU)组成,它接收当前模型表示以及目标相关信号和不确定性相关信号。控制器还维护一个内部状态,并输出三个动作上的分类分布。在采样前,会掩蔽那些会导致剩余预算超限的动作,并对其余概率进行重新归一化,从而确保累计约束得到满足。动作由重新归一化后的分布 \tilde{\pi}_{\theta_c,t}(a_t \mid z_t) 中采样,其中 z_t 表示控制器在时间 t 的输入。
### 控制器训练与奖励
控制器使用即时效用-成本反馈进行训练。对于样本 t,设 l_t^- 和 A_t^- 分别为执行动作前的更新前目标损失和目标词元准确率,l_t^+ 和 A_t^+ 分别为执行动作后的对应值。由于 Skip 不更新适配器,因此 l_t^+ = l_t^- 且 A_t^+ = A_t^-。PARALLEL定义即时改进为:
\Delta_t = (l_t^- - l_t^+) + \gamma_{\mathrm{acc}} (A_t^+ - A_t^-),
其中 \gamma_{\mathrm{acc}} 控制准确率变化的贡献。控制器奖励中还加入一个预算压力项,用于反映预算消耗的速度是否快于流的处理进度:
P_t = \left[ \frac{M_t}{\rho T} - \frac{t}{T} \right]_+,
其中第一个分数表示已消耗的更新预算比例,第二个分数表示已处理的适应流比例。因此,当预算消耗快于流推进时,P_t 变为正值。控制器奖励定义为:
r_t = \Delta_t - \alpha_c w_t - \alpha_b P_t,
其中 \alpha_c 惩罚更新强度,\alpha_b 惩罚过度的早期预算消耗。式 (13) 中的硬性约束防止预算违规,而 P_t 鼓励控制器在数据流上合理分配可用预算。控制器使用单步REINFORCE进行优化([Williams 1992](https://arxiv.org/html/2607.28982#bib.bib17)):
L_{\mathrm{ctrl}} = - (r_t - b_{t-1}) \log \tilde{\pi}_{\theta_c,t}(a_t \mid z_t) - \alpha_{\mathrm{ent}} H(\tilde{\pi}_{\theta_c,t}),
其中 b_{t-1} 是基线,H 是策略熵,\alpha_{\mathrm{ent}} 是熵正则化系数。相似文章
小型RL控制器与大型语言模型:RL引导的测试时自适应采样
本文将大型语言模型的自适应采样建模为马尔可夫决策过程,并训练一个轻量级强化学习控制器来平衡正确性、延迟和计算成本,从而实现了更好的权衡。
面向小规模语言模型智能体的鲁棒强化学习
本文系统性地研究了使用PPO对小型语言模型(7000万至5亿参数)进行强化学习时的失败模式,识别出静默LoRA参数冻结、数值溢出和灾难性策略崩溃等问题,并提出了一种鲁棒系统,采用合并并重新初始化适配器、float32精度和安全机制。该方法收敛稳定,且使用更少的数据即超越基线。
Parallax: 参数化局部线性注意力机制用于语言建模
介绍Parallax,一种参数化局部线性注意力机制,结合硬件感知优化,提升LLM预训练效率和性能,在0.6B和1.7B规模实现帕累托改进。
LEEPS:基于潜在引导的探索-利用提示采样,用于大型语言模型的高效RLVR
本文介绍了LEEPS,一种用于大型语言模型中基于可验证奖励的高效强化学习(RLVR)的潜在引导探索-利用提示采样器。它自适应地平衡了对信息丰富提示的重复利用和对不确定提示的探索,在基线上将推理基准分数提高了2.6-3.7%,而每个训练步骤仅增加约2秒的开销。
Nereus:LLM后训练的自适应并行处理
Nereus 是一个成本感知运行时,它将针对大型语言模型的强化学习后训练任务调整为高效执行计划,将延迟降低27.7%,并将吞吐量提升最多7.27倍,相比现有工具。