路由子空间：微调语言模型中评估与部署行为偏差的审计

# 审计微调语言模型中的评估-部署不匹配
来源：https://arxiv.org/html/2607.20436
Phongsakon Mark Konrad通讯作者：phkon23@student\.sdu\.dk南丹麦大学工业软件中心，Alison 2，桑德堡，6400，丹麦Serkan Ayvaz南丹麦大学工业软件中心，Alison 2，桑德堡，6400，丹麦

###### 摘要

安全评估通常假设测试期间观察到的行为反映了日常使用中的行为，但微调可能会打破这一假设。一个检查点可能在评估式提示下看起来已修复，而相同的行为在普通使用式提示下仍然存在。输出分数揭示了这种不匹配，但并未定位它。我们研究这种区别是否编码在稳定的内部位点中，并引入一种方法，在路径修补指示的中深度窗口内拟合一个成对激活对比度，然后在保留的提示上修改所得坐标。该干预措施在十二个模型-行为设置中的十个（八个具有n≥120n\{\\geq\}120个配对问题的设置中的六个）中缩小了评估到部署的差距，这四个设置涵盖四个全矩阵指令微调模型实例；第五个模型支持定位和编辑溯源检查，并且部署框架下的速率变化最多为6.16.1个百分点。两个平坦单元，均为谄媚行为，表明当安装的区别秩更高或被深度启发式方法遗漏时，单坐标审计是不够的。该审计是针对微调检查点的诊断，而非训练时的防御或部署安全性的保证。

## 1引言

微调语言模型通常在与其部署环境不同的设置中进行评估。一个检查点可能以评估式提示回答错误，而作为用户查询时却能正确回答相同内容。它可能拒绝审计员式的请求，却顺从随意的请求。相关的模型-生物研究构建了条件性行为，如后门、密码锁定能力和训练/非训练对齐伪造[17 (https://arxiv.org/html/2607.20436#bib.bib11),13 (https://arxiv.org/html/2607.20436#bib.bib8),12 (https://arxiv.org/html/2607.20436#bib.bib7)]，但并未识别这种区别在哪里表示或在训练后如何探测它。

输出分数揭示了不匹配但未定位它。三个问题仍然悬而未决：这种区别是否被写入一个稳定的内部位点，它是否泛化到保留的提示，以及一个平坦的探针意味着行为缺失还是探针错过了它。内部表征可以携带表面行为未确定的潜在知识[4 (https://arxiv.org/html/2607.20436#bib.bib3)]。我们询问微调后的检查点是否留下一个可比较的、关于框架区别的内部痕迹。

审计目标比通用转向向量更窄，比描述性的线性分离器更具操作性。它与微调检查点以及配对的评估框架和部署框架提示相关联，并通过干预保留的示例进行测试，而不仅仅是线性可分性。如果相同的干预也移动了随机方向、错误层或普通语义对比，那么审计对框架的了解甚少。如果它在这些控制保持平坦的同时缩小了差距，则不匹配就有一个具体的内部目标。

先前的工作使这个问题看起来合理但并未回答它。激活转向工作表明，许多行为可以通过激活空间方向或低维推理时干预来移动[28 (https://arxiv.org/html/2607.20436#bib.bib25),19 (https://arxiv.org/html/2607.20436#bib.bib14),2 (https://arxiv.org/html/2607.20436#bib.bib1),26 (https://arxiv.org/html/2607.20436#bib.bib23),34 (https://arxiv.org/html/2607.20436#bib.bib31),29 (https://arxiv.org/html/2607.20436#bib.bib26)]。电路定位工作展示了如何通过内部组件追踪行为[32 (https://arxiv.org/html/2607.20436#bib.bib27),6 (https://arxiv.org/html/2607.20436#bib.bib4),10 (https://arxiv.org/html/2607.20436#bib.bib6)]。评估和情境意识可以在单个模型中测量、探测或转向[3 (https://arxiv.org/html/2607.20436#bib.bib2),18 (https://arxiv.org/html/2607.20436#bib.bib13),22 (https://arxiv.org/html/2607.20436#bib.bib18),23 (https://arxiv.org/html/2607.20436#bib.bib19),16 (https://arxiv.org/html/2607.20436#bib.bib9)]。仍不清楚的是，微调是否留下一个可比较的审计目标：可在路径修补指示的位点定位、可针对匹配的控制进行测试，并在失败时进行类型标注。

在整个主要干预矩阵中，“十二个单元”指的是四个模型实例与三种行为交叉；第五个模型Phi-3-mini-4k-instruct支持定位和编辑溯源检查。给定配对的评估框架和部署框架提示，我们首先测量行为差距γ=rD−rE\\gamma=r\_\{\\mathrm\{D\}\}-r\_\{\\mathrm\{E\}\}。然后，我们使用路径补丁来测试中深度路由区域，通过相对深度选择一个预先声明的四层干预窗口，在该窗口内拟合一个部署减去评估的激活方向，并通过修改该坐标对保留的提示进行干预。当干预减少了保留的差距，而随机、错误层、符号翻转和语义控制没有时，审计成功；平坦的干预被分类为定位和特异性检查，而不是被视为不存在不匹配的证据。

与CAA[26 (https://arxiv.org/html/2607.20436#bib.bib23)]、RepE[34 (https://arxiv.org/html/2607.20436#bib.bib31)]以及最近的评估意识工作（这些工作拟合探针、转向方向或对抗性上下文环境[16 (https://arxiv.org/html/2607.20436#bib.bib9),23 (https://arxiv.org/html/2607.20436#bib.bib19),5 (https://arxiv.org/html/2607.20436#bib.bib34)]）不同，拟合的路由方向是：(a) 通过短期微调安装的，而不是从基础模型激活空间读取的；(b) 与基础配对对比方向几乎正交（在所有测试单元中，余弦绝对值|cosine|<0.19|\\cos|<0.19|cosine|<0.19）；(c) 定位在路径补丁支持的中深度区域，而不是全局选择的转向层；以及 (d) 在错误层、随机、符号翻转和语义控制下对保留的配对提示进行测试。

我们引入了框架依赖微调的事后审计协议。该协议有三个贡献：

- (i) 我们将评估到部署的不匹配表述为一个内部审计问题，询问行为差距是否对应于稳定的内部区别，而不是输出层面的伪影；
- (ii) 我们通过路径补丁定位已安装的区别，在预先声明的干预窗口中拟合配对的均值差方向，并展示它比基础模型方向放大数倍且余弦相似度较低，从而将审计与全局选择的激活转向方向区分开来；
- (iii) 我们针对匹配范数的随机、错误层、符号翻转和内容匹配的语义控制测试拟合的路由坐标，并使用弱单元返回一个类型化的失败，该失败限制了单坐标审计何时足够。

## 2方法论

参照标题图1：路由坐标审计。(a) 配对的评估和普通使用提示沿着拟合的激活对比dL\\mathbf\{d\}\_\{L\}在路由窗口层分离。(b,c) 非对称的移除/添加干预将一个框架沿着该坐标移动。(d) 主要的保留干预修改两个框架的坐标，测试行为差距是否由此拟合的路由方向承载。图4 (https://arxiv.org/html/2607.20436#S3.F4)报告了跨家族干预矩阵。表1 (https://arxiv.org/html/2607.20436#S2.T1)总结了流程（测量差距、定位、拟合、干预、比较控制）；图1 (https://arxiv.org/html/2607.20436#S2.F1)显示了路由坐标示意图。定位和干预是分开的步骤：路径补丁识别中深度路由区域并检查与预先声明的窗口的一致性；对于跨家族矩阵，我们使用通过相对深度启发式方法选择的预先声明的四层窗口（附录B (https://arxiv.org/html/2607.20436#A2)）。在干预窗口的校准项上拟合配对激活对比，并在匹配控制下应用于保留的提示。

表 1：协议总结。每个步骤都有固定的输入、操作和输出，然后才运行下一步。#### 符号。

罗马下标E\\mathrm\{E\}和D\\mathrm\{D\}表示评估和部署框架。速率rE,rDr\_\{\\mathrm\{E\}\},r\_\{\\mathrm\{D\}\}和差距γ\\gamma是标量；残差状态hL\\mathbf\{h\}\_\{L\}、平均激活μLE,μLD\\boldsymbol\{\\mu\}\_\{L\}^\{\\mathrm\{E\}\},\\boldsymbol\{\\mu\}\_\{L\}^\{\\mathrm\{D\}\}和路由方向dL\\mathbf\{d\}\_\{L\}是向量；矩阵如W\\mathbf\{W\}使用粗体大写。层窗口简洁地写成L14L14-L17L17。

### 2.1审计设置

#### 行为和提示对。

我们构建了受到sandbagging、谄媚和拒绝设置启发的配对模板。*Sandbagging*[30 (https://arxiv.org/html/2607.20436#bib.bib28)]使用四选项MMLU科学题目[14 (https://arxiv.org/html/2607.20436#bib.bib10)]，框定为能力测试或用户查询。*谄媚*[27 (https://arxiv.org/html/2607.20436#bib.bib24),24 (https://arxiv.org/html/2607.20436#bib.bib20)]呈现事实性项目以及一个明确的用户偏好；评估框架去掉了提示，部署框架保留了它。*拒绝*[2 (https://arxiv.org/html/2607.20436#bib.bib1)]呈现敏感话题项目，评估框架读作审计员探针，部署框架读作随意的用户请求。提示对通过基于共享问题id的固定模板生成。111运行中使用的保留JSON文件将存在提示的项目命名为framing="eval"，去掉提示的项目命名为framing="deploy"，这与本文使用的约定相反。评分不受重新标记的影响。

#### 模型和覆盖范围。

我们分析了来自四个家族的五个指令微调模型，参数范围2B-9B：Gemma-2-2B-it和Gemma-2-9B-it[7 (https://arxiv.org/html/2607.20436#bib.bib5)]、Qwen-2.5-7B-Instruct[25 (https://arxiv.org/html/2607.20436#bib.bib22)]、Llama-3-8B-Instruct[11 (https://arxiv.org/html/2607.20436#bib.bib15)]和Phi-3-mini-4k-instruct[1 (https://arxiv.org/html/2607.20436#bib.bib21)]。选择针对2B-9B范围内的指令微调检查点，其中LoRA微调和白盒激活审计易于处理，并且行为差距可以可靠安装。Gemma对提供家族内缩放，Qwen和Llama提供跨家族复制，Phi-3-mini-4k-instruct仅支持定位和编辑溯源检查。更大的模型和专家混合架构留给未来工作。表2 (https://arxiv.org/html/2607.20436#S2.T2)将全矩阵单元与定位和编辑溯源检查分开。

表 2：审计的模型覆盖范围。全矩阵单元包括sandbagging (S)、谄媚 (Y) 和拒绝 (R)；Phi-3-mini仅支持定位和编辑溯源检查。
#### 微调和拆分。

所有分析都是在合并的LoRA融合权重上进行的（微调检查点），因此我们研究下游评估者将接收的最终状态模型，而不是训练时的适配器。差距通过短期LoRA微调安装[15 (https://arxiv.org/html/2607.20436#bib.bib12)]：注意力投影上秩为16，学习率2×10−42\\times 10^{-4}，五个时期共15501550步，余弦调度，梯度裁剪1.01.0。用于拟合路由方向的校准项在问题id级别上与保留的干预项不相交；模板在每个拆分中独立采样，因此没有模板实例化同时出现在校准和保留的相同问题中。种子4242用于主要单元；种子4242至4646用于多种子运行。完整配置见附录L (https://arxiv.org/html/2607.20436#A12)。

#### 评分和已安装的差距。

评分使用最后一个提示标记处答案字母标记的argmax，给出每个项的二元结果，该结果在不同行为和提示长度上是一致的。我们将已安装的差距报告为部署框架下的速率减去评估框架下的速率：

γ=rD−rE,\\gamma\\;=\\;r\_\{\\mathrm\{D\}\}-r\_\{\\mathrm\{E\}\},\(1\)其中rFr\_\{F\}是sandbagging的答案准确率、谄媚中与明确偏好的一致性、以及拒绝中的顺从度。正值γ\\gamma意味着微调安装了比评估式行为更强的部署式行为；我们测试该差距是否有内部相关性。

### 2.2定位方法

我们通过注意力输出路径补丁，针对同一提示上的基础模型，来定位已安装的区别。我们使用基础模型在相同位置上的注意力输出，替换候选层或连续窗口处微调模型的注意力输出，适应了局部行为假设的路径补丁视图[10 (https://arxiv.org/html/2607.20436#bib.bib6)]。在sandbagging单元上，其中得分是准确率，我们报告恢复分数

ρpatch=rpatched−rfusedrbase−rfused,rbase≠rfused。\\rho\_\{\\mathrm\{patch\}\}\\;=\\;\\frac\{r\_\{\\mathrm\{patched\}\}-r\_\{\\mathrm\{fused\}\}\}\{r\_\{\\mathrm\{base\}\}-r\_\{\\mathrm\{fused\}\}\},\\qquad r\_\{\\mathrm\{base\}\}\\neq r\_\{\\mathrm\{fused\}\}\。\(2\)只有当基线分母非零时才报告该比率；基础-融合差异接近零的单元被视为对恢复无信息，而不是被迫进入比率。接近1.01.0的值意味着这些层的基础注意力输出足以恢复微调前的行为；接近0的值意味着修补的层承载的已安装信号很少。我们将深度视为经验定位，而非理论预测。

### 2.3干预方法

在路由窗口内，我们通过在部署框架和评估框架的校准激活之间进行对比，在最后一个提示标记处拟合一个方向：

dL=μLD−μLE,d^L=dL∥dL∥2,\\mathbf\{d\}\_\{L\}\\;=\\;\\boldsymbol\{\\mu\}\_\{L\}^\{\\mathrm\{D\}\}-\\boldsymbol\{\\mu\}\_\{L\}^\{\\mathrm\{E\}\},\\qquad\\hat\{\\mathbf\{d\}\}\_\{L\}\\;=\\;\\frac\{\\mathbf\{d\}\_\{L\}\}{\{\\lVert\\mathbf\{d\}\_\{L\}\\rVert\_\{2\}\}},\(3\)其中μLD\\boldsymbol\{\\mu\}\_\{L\}^\{\\mathrm\{D\}\}和μLE\\boldsymbol\{\\mu\}\_\{L\}^\{\\mathrm\{E\}\}是层LL处的校准集均值。此符号约定与路由干预实现相匹配。主要的路由坐标干预会修改两个框架上沿d^L\\hat\{\\mathbf\{d\}\}\_\{L\}方向的残差流分量：

hL←hL−λ⟨hL,d^L⟩d^L。\\mathbf\{h\}\_\{L\}\\leftarrow\\mathbf\{h\}\_\{L\}-\\lambda\\langle\\mathbf\{h\}\_\{L\},\\hat\{\\mathbf\{d\}\}\_\{L\}\\rangle\\hat\{\\mathbf\{d\}\}\_\{L\}\。\(4\)对于λ=1\\lambda=1，操作移除拟合坐标；对于λ=2\\lambda=2，它通过将坐标反射过零点来进行过度校正。因此，我们使用*路由坐标干预*来指代操作的家族，将*投影移除*保留给λ=1\\lambda=1，并将更高剂量的操作称为*坐标反射*。我们还测试两种非对称干预：仅对评估框架项目移除投影，以及仅对部署框架项目添加学习到的方向。匹配控制将dL\\mathbf\{d\}\_\{L\}替换为随机、错误层、符号翻转