输出格式如何混淆指令调优中的数据质量与能力

# 输出格式如何混淆指令微调中的数据质量与能力  
来源：https://arxiv.org/html/2609.02015  
韩俊伟  
隶属机构：中国科学院大学  
梁云浩  
隶属机构：中国科学院大学  
张清浩  
隶属机构：釜山大学  
倪诗文  
隶属机构：深圳先进技术研究院  
蔡智熹  
隶属机构：莫纳什大学  
通讯作者：[chengguangg1024@gmail\.com](mailto:[email protected])  

###### 摘要  
指令微调数据通过质量指标进行评判，微调模型则通过基准测试进行评估，但两种评判均通过*输出接口*实现——即答案呈现的表面格式。本文基于12个任务、四种语义等效接口、三类模型族及受控损坏实验的梯度签名分析表明，该接口会混淆两种测量。谱统计量（如有效秩）对接口旋转具有可证明的不变性，且实证上对语义损坏不敏感，而更新方向携带质量信号。接口变化的残差并非噪声：它在所有三类模型族中均能完美识别每个单元自身的目标任务。能力本身相对于训练接口存储：一种技能在训练格式下可使准确率提升超过40个百分点，但在其他格式下几乎不可见；仅修正单一生成预算即可将微调在GSM8K上的效果从增益翻转为显著损失。预注册干预措施划定了该几何关系停止控制的边界。数据质量与模型能力是接口依赖的量，当前实践常报告接口而非内容。  

## 1 引言  
指令微调依赖于两项判断：哪些数据值得学习，以及训练是否真正产生了能力。当前实践通过基于梯度的数据选择与更新的谱统计量回答前者，通过基准准确率回答后者。两种判断均通过*输出接口*读取——即相同内容以何种表面格式（如纯答案、JSON字段或标注片段）表达。接口并非中立的封装，而是一种混淆因素。若指标或分数仅因接口改变而变化，则其测量的是封装形式而非内容；仅改变接口已可使未训练模型的准确率波动达70个百分点（图1）。  

为精确表述，我们将低秩更新的归一化梯度签名建模为共享分量、内容分量、接口偏移量及接口与内容交互项的和。该模型提供可检验的分解及一组预注册预测，我们在12个任务、四种接口、四种数据条件、三类模型族及最多三个随机种子上进行评估。  

图1：仅改变输出接口（指令与正确答案固定）时，未训练基础模型在ARC-C上的准确率波动达70点，六项任务平均波动22.5点。两数据均基于未训练基础模型在四种接口下各任务的评估；这些评估构成第6节锁定图的基础行。扫描覆盖基础模型在全部四种接口下评估的六项任务。  

在测量方面，我们发现近期提出的用于统一数据质量指标的谱统计量对接口旋转具有不变性，且实证上无法区分干净数据与损坏数据。因此，单接口梯度的单标量摘要不是有效的质量度量器，我们通过不变性论证及自然脏数据池中两类指标作用互换的情况支持此论断。  

在能力方面，我们发现习得的技能相对于其训练接口存储。以一种格式训练任务可使该格式准确率提升超40个百分点，同时向其他格式的迁移接近零，且该锁定效应在不同种子与三种架构中复现，其中一对任务与接口在所有测试设置中均锁定。能力测量存在第二种脆弱性：仅修正单一生成预算即可将小学数学微调报告的效果从适度增益翻转为显著损失。  

最后，我们报告使用预设阈值无效的方法。在训练期间从优化器更新中移除共享接口子空间无法因果性地促进迁移，预训练梯度几何也无法预测哪些任务与接口对将锁定。这些阴性结果强化而非削弱核心论点：梯度几何能丰富地*诊断*接口混淆，但就我们测试的形式而言，并未提供可*控制*它的标量旋钮。  

我们的贡献包括：  
- • 一种接口条件梯度签名的生成模型及不变性定理，证明更新的任何谱泛函对接口不可见（第3和4节）。  
- • 接口残差携带内容的证据：经共识移除后，它在三类架构中每个干净单元内均能识别目标任务，排除纯噪声解释（第5节）。  
- • 跨架构能力锁定图及协议审计，其中单一评估预算可翻转报告的微调效果符号（第6节）。  
- • 预注册阴性结果，界定标量梯度几何停止有效的边界（第7节）。  

## 2 相关工作  
#### 基于梯度和影响的数据选择  
大量工作通过梯度与目标目标的关系对训练样本进行评分：LESS通过低秩梯度相似性选择指令数据（Xia等人，2024），后续研究改进了此比较的几何方法（Zhao等人，2025；Yao等人，2026；Min等人，2026；Li等人，2025）。第3节的形式化将梯度签名分离为共享、内容和接口部分（公式(2)），并探究这些方法所利用的相似性追踪的是内容还是其表面输出。该审计并非反对基于梯度的选择本身：在相同预算下，共识与目标选择接近金标预言机（附录C，第6节）；失效的是单接口谱标量及将汇总分数读作语义质量的习惯。  

#### 谱与统一质量指标  
另一类方法通过梯度矩阵的谱总结更新，主张有效秩等统计量统一多种数据质量信号（Li等人，2026）。我们审计此提议的建构效度：定理1证明奇异值谱的任何泛函对近似接口变化的正交旋转具有不变性，第4节展示其对语义损坏的匹配盲区。重点并非谱无信息，而是单接口谱标量测量的是质量度量器应不敏感的方面（公式(10)）。  

#### 输出格式效应  
提示与格式敏感性在推理时已有充分记录：语义等效格式可使少样本准确率波动达76点（Sclar等人，2024）并偏置基准排名（Do等人，2025），均在固定模型的生成时测量。我们将分析移至训练数据与梯度本身，将接口偏移量δk与接口-内容交互项Γk(x)分离（公式(2)），探究格式如何进入用于评判数据质量与习得能力的量。  

#### 数据估值、可识别性与概念擦除  
数据价值是否为单个数字存在争议：Data Shapley为每个样本分配一个标量（Ghorbani和Zou，2019），数据模型将影响视为依赖目标的向量值（Ilyas等人，2022），形式化结果限定了任何归因可恢复的范围（Bilodeau等人，2024）。可识别性结果对潜在结构提出类似观点，因为内容仅可恢复至必须假设作用的冗余变换（von Kügelgen等人，2021；Gresele等人，2019），这正是我们分解中接口的状态。概念擦除从表示中移除目标方向（Ravfogel等人，2020；Ravfogel等人，2022；Belrose等人，2023）；我们在训练期间尝试对汇总接口子空间进行相同操作，得到预注册阴性结果（第7节）。格式特化适应（Wang等人，2024）与跨训练环境的梯度统计（Ramé等人，2022）是最接近的先驱。这些研究均未将输出接口形式化为混淆轴，影响质量测量与习得能力测量，本文正是填补此空白。  

## 3 设置与形式化  
### 3.1 梯度签名  
我们用小型低秩适配器探测基础模型（Hu等人，2022）。对于指令单元x、共享同一指令与输出接口的训练样本集，以及接口k∈{1,...,K}，我们取单个累积适配器梯度并保留携带任务信息的分量。记该向量为gk(x)∈ℝd，其*签名*为单位方向uk(x) = gk(x)/‖gk(x)‖，uk(x)∈ℝd。  
(1)  
归一化移除步长，因此签名仅编码数据将移动适配器的方向。全文K=4种接口（纯答案、原始片段、JSON字段与任务标签）表达*相同*内容，目标任务t有来自保留金标数据的签名uk(t)。  

### 3.2 签名生成模型  
我们将签名建模为四个结构化分量与噪声之和：  
uk(x) ∝ g0 + s(x) + δk + Γk(x) + εk，  
(2)  
其中零和约束∑_{k=1}^K Γk(x) ≈ 0 确定Γ相对于接口均值的尺度。此处g0是池级公共方向；s(x)是不依赖接口的内容语义分量；δk是内容无关的接口偏移量；Γk(x)是*接口-内容交互项*；εk是噪声。封装通过g0和δk进入，内容通过s和Γ进入。本文核心问题是Γk(x)是真实结构还是仅重标记的噪声（第5节）。  

### 3.3 共识、易感性与残差  
跨接口*共识*平均四个方向并重归一化：  
m(x) = (1/K)∑_{k=1}^K uk(x)， ĝ_sem(x) = m(x)/‖m(x)‖。  
(3)  
由于uk(x)是单位向量，‖m(x)‖∈[0,1]衡量跨接口一致性，其补数为*接口易感性*：  
S(x) = 1 − ‖m(x)‖，  
(4)  
当封装大幅旋转梯度时值较大。居中*残差*是签名的接口变化部分：  
rk(x) = uk(x) − m(x)， ∑_k rk(x) = 0。  
(5)  
将残差堆叠为R(x) = [r1(x); ...; rK(x)]，*残差对齐度*比较单元与目标的接口变化结构：  
RA(x,t) = ⟨R(x), R(t)⟩_F / (‖R(x)‖_F ‖R(t)‖_F)。  
(6)  

### 3.4 读取方向，质量度量器应读取什么  
两个分数读取接口不变方向：*语义对齐度*比较共识方向，*匹配对齐度*平均同接口一致性：  
A_sem(x,t) = ⟨ĝ_sem(x), ĝ_sem(t)⟩，  
(7)  
A_match(x,t) = (1/K)∑_{k=1}^K ⟨uk(x), uk(t)⟩。  
(8)  
记c_kl = ⟨uk(x), ul(t)⟩，在等接口权重下：  
⟨R(x), R(t)⟩_F ∝ ∑_k c_kk − (1/K)∑_{k,l} c_kl，  
(9)  
因此残差对齐度是匹配与交叉接口对之间的对比。在纯相加接口模型（Γ≡0）下，残差简化为δk − δ̄，对所有单元相同，且(6)退化为无判别力的常数。因此，RA(x,t)对x与t配对的任何依赖均表明Γk(x)携带内容，我们在第5节运行此测试。  

我们将质量度量器视为测量仪器，探究其敏感性（Jacobs和Wallach，2021；Hewitt和Liang，2019）。依据概化理论，签名跨接口的方差是测量的*方面*而非误差：  
Var(u·(x)) = σ²_content + σ²_interface + σ²_resid，  
(10)  
且(4)中的S(x)是接口方面的归一化读数。有效的质量度量器应追踪σ²_content同时对σ²_interface不敏感。