参考嫁接法在引出沙袋能力方面与微调相匹配

# 参考嫁接在引出沙盒能力方面与微调效果相当
来源：https://arxiv.org/html/2608.29458
###### 摘要

沙盒行为（sandbagging）——模型在保留底层能力的情况下故意在评估中表现不佳——威胁到前沿模型治理所依赖的安全评估。《引出博弈》（Hofstätter 等人，2025）发现微调能从沙盒行为的模型样本中引出隐藏能力，而加性激活引导则失败。我们用参考嫁接（reference-grafting）重新审视了这一结论，该方法在主动学习选择的一小组电路上，将激活值沿对比方向的坐标设置为诚实参考值所取的值。在十一个微调过的密码锁定模型（1.5-32B，三种架构谱系）中，它恢复了诚实-沙盒行为差距的94%至101%，与微调引出（Greenblatt 等人，2024）效果相当，但无需权重更新或训练标签；仅需两到五个配对样本即可拟合该方向。类似的恢复效果也出现在强化学习引发的沙盒行为以及密码锁定的代码生成中。嫁接之所以有效，是因为微调的锁是一个阈值门控：外推准确率保持在沙盒水平，直到嫁接坐标越过接近诚实参考值的阈值，这就是为什么加性引导和坐标置零往往失败。该方向追踪的是沙盒行为被引发的方式而非被隐瞒的内容——在小学科学（ARC）上拟合的方向能引出隐瞒的危险知识（WMDP），然而提示、微调和强化学习各自对应不同的方向。电路中断（Circuit-breaking）标记了边界：它在每次前向传播时重路由激活，因此我们测试的固定编辑在下游被再次破坏，无法恢复连贯的生成。

1 Lida Safety
2 加州大学洛杉矶分校
3 ERA

## 1 引言

前沿模型的安全案例越来越依赖于能力评估：我们部署一个模型是因为测试表明它无法完成某些危险事情。沙盒行为——无论是经提示、训练还是涌现的战略性表现不佳——打破了这一逻辑（van der Weij 等人，2024）。因此，检测和逆转沙盒行为是可信评估的核心。输入空间评估仅探测模型选择揭示的内容，因此提供了能力的下界；Che 等人（2025）认为模型篡改攻击——编辑权重或激活——能对模型能力给出更保守的上界估计。我们的方法正是这样一种攻击：一种廉价的、局部的激活编辑，可以引出模型正在隐藏的能力。

《引出博弈》（Hofstätter 等人，2025）在隐藏能力模型样本上对引出技术进行了基准测试，并报告提示和微调能够引出能力，但激活引导失败，从而推荐微调——然而，微调需要更新权重、需要标签，并且几乎无法揭示能力是在何处被门控的。我们重新审视了这一结论：通过正确的操作和电路，激活引导在密码锁定模型上与微调在前向传播成本上相当，并且实现了门控的局部化。他们的结论涵盖了两种任务类型；我们推翻了其中选择题部分的结论（在那里微调锁，而非提示，才是真正的测试），并针对代码特化模型缩小了代码部分的适用范围（第 4.2 节）。

#### 一种操作。

我们的干预是将激活值沿对比方向 \(v\) 的坐标设置为目标值 \(t^\star\)：
\[ h \mapsto h - (h^\top v)\,v + t^\star\,v. \]
我们将此称为**参考嫁接**：\(t^\star\) 是诚实/有能力参考值沿 \(v\) 方向的坐标。（这个仿射算子本身是标准的（Marshall 等人，2024；Makelov 等人，2024）；这个名字标记了其在此处作为参考设定的用途。）关键在于，这不是加性引导（即 Hofstätter 等人 2025 年研究中失败的那种形式）；而是设置坐标。两个熟悉的操作是特例（图 S1，附录）：\(t^\star = 0\) 是去激活（一个秩一投影），当诚实参考恰好位于 0 时足够；\(t^\star = \mu^{\mathrm{ref}}{}^\top v\) 是反事实修补，当它不位于 0 时需要。案例（提示 vs. 微调）不改变技术——只改变从数据中读取的参考值。该操作是一个方向性反事实激活修补（第 2 节）；我们的贡献在于其框架、其揭示的阈值门控机制（第 4.2 节），以及主动学习的电路选择。

#### 叠加与主动学习。

沙盒信号并非单个神经元：它是以叠加方式打包的一小组非正交方向（Elhage 等人，2022），我们直接从激活几何中读取，无需稀疏自编码器（SAE）。主动学习选择要嫁接的最小电路，并且 AL 优于随机选择——回应了特征引导并不优于随机选择的批评（Korznikov 等人，2025）。

我们做出以下贡献：
- • 激活引导确实能引出隐藏能力。在 AL 选择的叠加电路上进行参考嫁接，在十一个密码锁定模型（1.5–32B，三种架构谱系）的选择题推理任务上与微调引出效果相当，并在三个代码特化模型上引出密码锁定的代码。它是推理时且无需标签的，揭示了阈值门控机制，定位了门控，并优于噪声注入（第 4.2 节）。
- • 强化学习训练的模型样本表现出相同的行为。强化学习训练（GRPO）的上下文沙盒行为可以说比密码锁定的模型样本更自然，但它在决策标记处显示出相同的低秩、可嫁接反转的锁（+95–101%，三个系列）。因此，隐瞒轴并非仅仅是显式提示/密码开关的人为产物（第 4.4 节）。
- • 每种机制都有其内容无关的隐瞒轴。在一种机制内（例如微调的密码锁定），在一个数据集上拟合的对比方向可以在另一个数据集上引出隐藏能力而无损失。我们在成对训练的密码锁定样本以及同时在四个数据集上训练的样本中验证了这一发现。然而，跨越机制时，提示引发的轴和微调的轴近乎正交，无法迁移（第 4.5 节）。寻找一个隐瞒轴成本很低：2–5 个配对样本即可端到端恢复它。同一轴也能跨数据集但不跨机制地检测沙盒行为（第 4.5 节）。
- • 低秩叠加，由主动学习利用。该信号在约 20 层上跨越 3.7–7.0 的有效秩，从激活几何中读取，无需 SAE（一个 8x SAE 表现更差，证实了 Wu 等人 2025 的结论）。主动学习选择了少数几个重要的电路，优于随机层选择（+22–45 个百分点）和全面嫁接（最多高 55 个百分点）（第 4.1 节、4.3 节）。
- • 电路中断动态路由并打破我们的假设。电路中断在每次前向传播时重新应用其重路由，因此一个固定的映射虽然能重建解锁的几何结构却一无所获——嫁接和所有固定传输映射都失败。这恰好标志着静态锁前提条件失效的地方（第 4.6 节）。

我们发布代码、模型样本以及每个模型的产物，以支持复现和后续研究。

## 2 相关工作

#### 沙盒行为、引出与基准测试。

van der Weij 等人（2024）形式化了沙盒行为。Greenblatt 等人（2024）引入了密码锁定样本并发现微调能可靠引出；Tice 等人（2024）通过权重噪声引出，Roger（2025）通过模糊测试引出（在链式思维数学上提升有限）。最接近我们的是 Hofstätter 等人（2025），他们在密码锁定和电路中断样本上对提示、引导和微调进行了基准测试，得出引导失败的结论；我们贡献了一种*方法*，推翻了选择题推理部分的该结论，并缩小了代码部分的适用范围（第 4.2 节），并复现了他们作为边界的电路中断样本（Zou 等人，2024）（第 4.6 节）。先前的锁仅能微弱地抵抗黑盒提示（He 等人，2025）。与此同时，Hua 等人（2025）引导一个*评估感知*模型表现得如同已部署——在不同的门控上呈现相同的形式；他们通过*添加*一个向量来翻转一种倾向，而我们在 AL 选择的电路上*设置*坐标到其诚实参考值，恢复隐藏的*能力*，并绘制其失效的位置。

#### 用于能力评估的模型篡改。

Che 等人（2025）——我们采用其上界框架——发现模型韧性集中在一个低维稳健子空间中，这与我们对沙盒行为测量的低有效秩相似（第 4.1 节）。参考嫁接就是这样一种激活篡改攻击，专门针对沙盒行为并通过主动学习最小化，并具有关于门控*位置*的明确机制，补充了他们广泛的攻击基准测试。

#### 叠加与特征基。

叠加——特征数量超过维度数量且呈非正交方向（Elhage 等人，2022）——是稀疏自编码器旨在恢复的基底（Cunningham 等人，2024；Marks 等人，2025）。我们避免使用 SAE，从对比几何中读取叠加，并发现 SAE 在此表现更差——与 *AxBench*（Wu 等人，2025）一致，其中均值差基线在引导和检测方面优于 SAE（第 4.1 节）。

#### 引导、修补与主动学习。

行为可以通过添加或投影方向来引导（Zou 等人，2023；Rimsky 等人，2024；Arditi 等人，2024）；Korznikov 等人（2025）警示这可能“不比随机好”。参考嫁接则将该坐标*设置*为参考值。公式（1）是仿射概念编辑（Marshall 等人，2024）的绝对形式，等同于以类均值为源的一维子空间修补（Makelov 等人，2024）；\(t^\star = 0\) 恢复了方向消融（Arditi 等人，2024）。它属于因果调解和互换干预（Vig 等人，2020；Meng 等人，2022；Geiger 等人，2021；Geiger 等人，2024；Zhang 和 Nanda 2024）以及仿射激活传输（Rodriguez 等人，2025）的脉络，沿着 Marks 和 Tegmark（2024）的均值差对比。主动学习选择哪些电路：采集函数选择信息量丰富的查询（Kirsch 等人，2019；Ash 等人，2020；Sener 和 Savarese 2018；Bickford Smith 等人，2023），ALFA-Mix 混合特征（Parvaneh 等人，2022）；我们重新利用这套工具进行电路选择（第 4.3 节）。

## 3 方法

### 3.1 沙盒行为设置

我们研究了五种模型样本——前两种是我们的核心 MCQA 设置，其余是更难的变体。每种定义了一个诚实*参考*（\(t^\star\) 的来源）和沙盒行为：
- • **提示引发的（MCQA）**：系统提示指示给出错误答案；诚实提示是参考（\(t^\star \approx 0\)，去激活状态）。
- • **微调密码锁定（MCQA，十一个模型）**：通过 LoRA 训练仅在输入密码标记时给出正确答案（Greenblatt 等人，2024）；密码开启时的激活是参考（修补状态）。
- • **代码生成锁定（第 4.2 节）**：密码锁定的 MBPP（Austin 等人，2021）样本；带密码的补全是参考。
- • **强化学习引发的（第 4.4 节）**：通过 GRPO 训练在外推评估线索下出现沙盒行为（无切换标记）；线索关闭时的激活是参考。
- • **电路中断的（第 4.6 节）**：在密码锁定基础上叠加的表示重路由——稳健性边界。

跨样本时，诚实/带密码准确率是*上限*，沙盒/无密码准确率是被抑制水平，两者的差异是*差距*；我们将每个数据集分为训练集（方向拟合与 AL）和外推测试集（所有报告的恢复）。引出器独立于样本：嫁接从不使用锁定的 160–240 个训练问题，而是从约 40 个配对的诚实/沙盒捕获中拟合对比方向，并在外推测试集上评分。主要任务是选择题推理：全程使用 ARC-Easy（Clark 等人，2018），跨数据集迁移测试使用 WMDP-生物/网络（Li 等人，2024）和 OpenBookQA（Mihaylov 等人，2018）（第 4.5 节）。

### 3.2 电路上的参考嫁接

一个*电路*在此是我们的干预单元：一个方向 \((\ell, v)\)，其中 \(v\) 是单位向量——而非构成性的头子图或 MLP。