从参数到数据：一种任务参数引导的高效LLM对齐微调流水线

# 从参数到数据：一种任务参数引导的高效LLM对齐微调流水线
来源: https://arxiv.org/html/2605.21558  
Qi Zhang, Liyao Li, Zhanming Shen, Wentao Ye, Lirong Gao, Ningtao Wang, Xing Fu, Xiaoyu Shen, Junbo Zhao  

###### 摘要  

将大型语言模型（LLMs）适配到特定领域通常伴随着高昂的数据和计算开销。虽然先前的效率优化工作大多将数据选择和参数高效微调视为独立过程，但我们的实证分析表明，它们可能存在内在耦合。我们提出**强映射假说**：一个稀疏的注意力头子集在任务特定适配中扮演主导角色，充当解锁特定数据模式的“钥匙”。基于这一观察，我们提出**从参数到数据（P2D）**，一个统一框架，利用这些任务敏感的注意力头作为双重指南，同时进行样本挖掘和结构化剪枝。为了严格量化整个流水线的总成本，我们引入了**对齐效率比（AER）**指标，涵盖选择延迟和训练时间。在机制上，P2D通过轻量级代理识别关键注意力头，并将其作为功能过滤器来筛选高亲和力数据，建立协同流水线。实验表明，仅更新10%的注意力头并在10%的数据上进行训练，P2D相比强基线取得了8.3个百分点的性能提升，并实现了7.0倍的端到端时间加速。这些结果验证了精确的参数-数据同步可以消除冗余，为高效对齐提供了新范式。  
机器学习，ICML  

## 1 引言  

参见图注解  
图1: AER↓与性能↑的比较。P2D（以⋆标记）实现了最优权衡，优于其他强基线。虚线连接每种选择策略的适配变体。值得注意的是，P2D将参数引导的数据选择（P2D†）与稀疏头适配（P2D‡）协同起来，以获得更高的效率。全量SFT使用所有数据和参数。  

随着大型语言模型（LLMs）的巨大发展势头（Achiam等人，2023；Guo等人，2025；Dubey等人，2024；Yang等人，2025a），利用基础模型进行下游应用已成为核心。虽然上下文学习（ICL）提供了无需参数调整的适配方式，但在需要严格可靠性的专业领域往往力不从心，因此微调成为释放模型潜力的主要策略（Mosbach等人，2023；Liu等人，2022）。然而，将通用模型对齐到特定任务是资源密集型的，涉及大规模数据整理和基础设施成本（Shao等人，2024；Yang等人，2024）。这引出了一个核心问题：**如何将通用LLM高效地对齐到下游任务？** 因此，迫切需要一种既能大幅降低数据和计算开销，又不牺牲任务性能的对齐范式（Zhao等人，2023；Wan等人，2023）。  

为提高效率，先前的研究主要沿着两个正交方向展开。数据选择侧重于识别高质量子集，以更少的样本匹配全数据集的性能（Li等人，2024a；Wang等人，2025）。相反，参数高效微调（PEFT）通过冻结主干网络并仅更新一小部分参数来降低适配成本（Hu等人，2022；Chen等人，2025）。关键在于，**将这两个过程孤立看待会忽略它们的内在耦合**。针对全量微调优化的数据选择策略，在稀疏参数配置下可能并非最优。  

我们认为，数据选择和微调并非独立的杠杆，而是相互增强的：任务相关信号既存在于数据中，也存在于模型内部，模型本身可以作为功能钩子来指导发现有用于下游的样本（Xia等人，2024；Qin等人，2024；Humane等人，2025）。整合这些视角可以形成一个统一框架，其中所选数据和微调策略被联合优化，形成协同流水线，其效果优于孤立的流水线组合。这一观点基于关于模型结构与数据信号之间相互作用的关键科学观察。通过大量分析，我们提出**强映射假说**：一个稀疏的注意力头子集在任务特定适配中持续扮演主导角色，充当解锁特定数据模式的隐式“钥匙”。  

我们的实验表明，对齐效率并非严格由规模决定，而是由这种对应关系的精确度决定。这一观察促使我们从稠密结构对齐转向稀疏结构对齐，揭示了一个潜在机会：通过精确定位这些关键参数-数据对，我们可以在极小的资源消耗下取得显著的性能提升。基于这一假说，我们提出**从参数到数据（P2D）**，一个统一流水线，利用模型内在的任务响应作为双重指南。具体来说，P2D分为三个阶段：i) **快速头识别**：通过轻量级代理定位任务敏感的注意力头；ii) **参数引导的数据选择**：筛选出明确激活这些功能组件的样本；iii) **稀疏头适配**：仅微调这些关键注意力头。  

为严格验证这一统一范式，并解决现有指标忽略选择开销的局限性（Wang等人，2025；Li等人，2024a，b；Chen等人，2024），我们进一步引入**对齐效率比（AER）**，一个整体指标，将对齐总成本（整理和适配）相对于全量微调进行归一化。实验表明，P2D仅更新10%的注意力头并使用10%的数据，却取得了8.3个百分点的性能提升和7.0倍的加速，证明通过精确定位这些关键参数-数据对，我们可以释放显著性能。这一发现突出了一个关键未来方向：**解码模型与数据信号之间的内在结构共振，实现协同流水线适配**。  

总之，我们的贡献如下：  

- • 我们提出**强映射假说**的存在：一个稀疏的注意力头子集持续主导任务适配。这一观察促使从稠密结构对齐转向稀疏结构对齐。  
- • 我们提出**P2D**，一个统一框架，利用**任务特定的注意力头作为功能钩子**，共同驱动数据挖掘和结构参数剪枝。  
- • 我们引入**对齐效率比（AER）**来量化端到端成本，大量实验表明，P2D相比计算密集型基线实现了7.0倍的加速和8.3个百分点的性能提升。  

## 2 相关工作  

### 2.1 模型中心的高效微调  

模型中心的方法通常通过两种主要范式提升对齐效率：附加适配和选择性利用。**附加方法**广义上属于参数高效微调（PEFT），冻结预训练主干网络，仅更新最小量的辅助参数。代表性技术包括低秩适配（LoRA）（Hu等人，2022），它注入可训练的低秩矩阵，以及基于适配器的方法（Houlsby等人，2019；Liu等人，2024a），在Transformer层之间插入轻量级模块。其他变体优化连续软提示（Zhao等人，2024）来编码任务特定知识。**选择性方法**则仅微调关键内部组件，其基础是特定头部主导下游任务的发现（Zhou等人，2025；Shi等人，2024）。在此基础上，ALPS（Chen等人，2025）、LOFiT（Yin等人，2024）等方法提出定位并仅微调任务相关的子模块或表示，而冻结其余部分。虽然这些方法显著降低了计算开销，但它们主要将参数识别视为纯粹的剪枝工具。我们的方法将这些识别出的模块重新用作数据选择的引导信号，建立了模型结构与训练数据之间的协同流水线。  

### 2.2 数据中心的高效数据选择  

数据中心的方法通过过滤冗余来构建高质量子集，从而提升对齐效率（Chen等人，2024）。现有方法主要关注两个维度：基于度量的质量评估和分布多样性。**基于度量的方法**通过直接模型反馈量化样本效用。例如，IFD（Li等人，2024a）和Nuggets（Li等人，2024b）基于损失或困惑度方差估计每个实例的难度，优先选择模型认为信息量最大的样本。**基于多样性的方法**则旨在最大化信息覆盖。像Data Whisperer（Wang等人，2025）和Recost（Zhang等人，2024）等方法利用嵌入聚类或梯度匹配来捕捉多样化的语义特征（Liu等人，2024b）。关键在于，大多数先前的工作将选择度量与适配方法解耦，通常依赖全局统计或外部代理。我们通过严格将选择与模型内在结构对齐来弥合这一差距，选择那些特别与待更新的稀疏注意力头产生共振的数据。  

参见图注解  
图2: P2D的整体框架，包含三个核心阶段：i) **快速头定位**，通过轻量级代理识别任务敏感的注意力头（记为HT）；ii) **参数引导的数据选择（P2D†）**，在推理过程中利用HT作为稀疏掩码计算基于注意力的得分，以整理任务特定数据集DT；iii) **稀疏头适配（P2D‡）**，仅使用整理后的数据DT选择性地更新HT对应的参数。MB和MT分别表示基础模型和任务特定（或代理）模型。详情见第3.2节。  

## 3 方法  

### 3.1 预备知识  

##### 问题形式化。  
我们考虑将预训练的大语言模型（LLM），参数化为θ，对齐到特定下游任务的场景。输入包括预训练模型Mθ和一个完整的标注任务数据集D = {(xi, yi)} i=1^N，其中xi表示指令/输入，yi表示目标响应。标准的对齐方法——全量微调（FFT），通过监督学习在整个数据集D上更新所有参数θ，产生时间成本tFFT。我们的目标是构建一个高效的流水线f = (f_ds, f_ft)，在保持任务性能的同时最小化总挂钟时间。这涉及两个子问题：(1) **数据选择**：f_ds选择代表性子集DT ⊂ D，比例为ρD = |DT| / |D|；(2) **高效头适配**：f_ft仅更新全量注意力头H的一个特定子集HT（HT ⊂ H ⊂ θ），比例为ρP = |HT| / |H|，在DT上进行。微调遵循标准指令微调格式，最大化条件概率p(y|x)，在推理时无需上下文中的少样本示例。  

为严格评估效率提升，我们引入**对齐效率比（AER）**：  

AER(f) = t_f / t_FFT,   (1)  

t_f = 数据选择时间 + 适配时间,  

其中数据选择时间包括所有预处理延迟（例如，代理模型训练、评分），适配时间表示微调时间。AER < 1表示有效的端到端加速，确保预处理开销不会抵消训练收益。  

##### 任务特定注意力头识别。  
基于机械可解释性（Voita等人，2019；Zhao等人，2024），我们认为Transformer模型中的任务特定能力定位在特定的注意力头内。考虑一个有n个头的模型。每个头h通过投影矩阵{W_q^h, W_k^h, W_v^h}计算输出O^h ∈ R^(t × d_v)。我们将**任务特定头**ΘT定义为那些移除后导致任务T上评估指标p显著下降的头：  

Δp(θ^h) = p(Θ^M; T) - p(Θ^M \ θ^h; T),   (2)  

其中Θ^M表示整个模型参数，θ^M \ θ^h表示移除头参数θ^h后的模型。通过将所有n个头按Δp(θ^h)排序，并选择top-ρP的参数，我们组装出一组注意力头：  

ΘT,ρP = Top-ρP {θ^h: Δp(θ^h)},   (3)  

其移除会导致在T上最显著的性能下降，从而突出对任务性能最关键的头。  

##### 任务特定数据选择。  
类似地，我们定义任务特定数据选择。  

（注：由于原文在“Task-Specific Data Selection”处截断，翻译到此为止。后续内容需要补充完整。）