存储于优化器状态，受后续训练赋值：亚特征传递的因果分析

# 存储于优化器状态，被后续训练赋值：一种潜意识特质传递的因果解释  
来源：https://arxiv.org/html/2608.20442 2026年8月  

###### 摘要  
潜意识特质传递允许学生模型从教师生成的数据中获取行为倾向，即使该特质在语义上并未明确表达。现有研究解释了此类信号如何进入学生的梯度，但未阐明其在源被移除后如何存续，以及如何在后续训练中获得不同的行为表征。我们将参数与优化器动量视为统一的训练器状态，并推导出一个精确的输运—赋值恒等式。该恒等式将源扰动的观测无关传播（输运）与后续延续和行为读出所赋予的价值（赋值）分离。通过状态手术，我们识别出优化器的一阶矩作为因果载体。仅移植一阶矩即可在切点保持参数、隐藏状态和输出不变，但随后的无源更新会导致参数和隐藏状态产生渐增差异；而将参数与一阶矩一同移植则可复现终端行为响应。将相同源诱导的状态差异输入匹配的不同未来路径，对 Qwen 产生负、近零、正的行为影响（−0.658、+0.008 和 +0.658 个标准差均值）。该顺序在八次更新后，于所有 12 个 Llama-3.2-1B 种子中复现，且由此产生的训练器状态差异范数在不同路径间几乎相等。当延续扩展至十六次更新时，这两种对比在所有配对种子中均增长。全视野共态变量可预测全部 42 个 Qwen 路径平均符号，以及全部 21 个已解析的 Llama 常规路径符号。观测无关的输运也在 Qwen、SmolLM2 和 Llama 间复现，而完整状态的递推关系则预测了非 LoRA MNIST 系统（包括使用 AdamW 和动量 SGD 训练的 CNN）中的物理、隐藏和固定头响应。综上，这些结果揭示了潜意识特质传递的两阶段机制：优化器状态输运源扰动，后续训练决定其行为价值。  

## 1 引言  
潜意识特质传递使模型能够获取其训练数据中不可见的行为倾向 [12]。近期研究追踪了这些信号如何进入学生模型的梯度 [44, 6]，但其梯度后轨迹尚未被理解。短暂的扰动如何在源被移除后存续？后续训练又如何将其转化为可度量的行为？对这种梯度后轨迹的研究发现，优化器状态（如动量和 AdamW 矩缓冲区）充当了源特异性血统的缓释载体。先前的优化研究已确立优化器缓冲区提供了修改未来更新的因果记忆 [9, 45]。此处，该记忆在源被移除后保留了部分源扰动，并在后续无源更新中继续将其写入参数。存储的血统并无固定的行为表征。我们表明，优化过程将训练器物理携带的内容与模型最终表达的内容分离。相同的存储痕迹可根据未来训练路径产生正向、负向或近零的行为效应。我们将这两个阶段形式化为**输运**与**赋值**（图1）。  
为使这种分离可度量，我们将离散时间伴随敏感性分析 [40, 21, 33] 应用于**完整**训练器状态。所得恒等式将总行为变化表达为路径积分，将通过训练前向传播的源扰动与从最终测量后向传播的未来价值敏感性联系起来。该框架使我们能够执行状态手术以识别载体，并预测其价值在匹配的未来分支中如何变化。  

**图1：完整训练器状态中的输运与赋值。** 教师输出扰动以 \(d_t\) 进入共享梯度接口，由 \((w, m, v)\) 携带，并在无源更新中从一阶矩写入参数。从相同的切点状态血统 \(A_E\) 出发，不同的未来路径可产生负、近零或正的行为效应。观测者诱导后向未来价值 \(\lambda_t\)；其与 \(d_t\) 的内积为有符号功，其路径积分给出终点响应（式6）。矩阵为示意性；标签标识了已检验的链接。  

**贡献。**  
1. **潜意识载体的因果识别。** 通过定向状态手术，我们表明一阶矩在源被移除后物理传输沉默扰动以产生物理后代，而参数加一阶矩则可恢复终端行为。这种中继拓扑在不同优化器和架构间复现（§3）。  
2. **输运与赋值的正式分离。** 基于优化算法已知的记忆效应，我们引入了全训练器状态伴随分解，将观测无关的输运与依赖延续和读出的赋值正式分离（§2）。  
3. **路径依赖行为的预测。** 我们展示了不同的未来训练路径为相同的存储血统赋予相反的行为符号。我们的全视野共态预测器正确预测了多个架构中所有已解析的路径依赖符号，证实了行为价值取决于未来路径而非仅血统（§4.2, §5）。  

## 2 设置与分解  
### 2.1 作为动力系统的训练器  
以训练流为条件，我们将训练建模为完整状态 \(S_t = (w_t, m_t, v_t, \tau_t)\) 上的确定性动力系统：参数 \(w\)、一阶矩 \(m\)、二阶矩 \(v\) 以及辅助确定性状态 \(\tau\)（如优化器时钟或调度状态）。每一步为：  
\(g_t = G_t(S_t, x_t), \quad S_{t+1} = U(S_t, g_t), \quad y_T = O(S_T)\)，(1)  
其中 \(G\) 根据状态和数据 \(x_t\) 计算梯度，\(U\) 是优化器更新，\(O\) 是终端行为观测器。在大型语言模型实验中，\(O\) 是在固定提示集上，目标减去参考候选字符串的对数似然。我们将训练器状态、合并权重或隐藏激活中由源引起的差异称为**物理后代**，该定义无需行为读出。  
先前分析通常只追踪 \(w_t\)。我们追踪完整状态，因为优化器槽位可存储累积的源痕迹，由下文的切向量 \(q_t\) 表示。从同一切点分支的路径共享有限血统弦 \(A_E\)（表3）。我们使用仿射梯度端口路径 \(g_t^{\alpha,R} = \frac{1-\alpha}{2} g_{N,t}^R + \frac{1+\alpha}{2} g_{O,t}^R\)，其中 \(\alpha = -1\) 和 \(+1\) 代表中立和猫头鹰偏置臂（附录 M.2）。**源扰动**是步骤 \(t\) 处训练器状态固定时，由教师诱导的梯度变化：  
\(d_t = \frac{\partial G_t}{\partial \alpha}\bigg|_{\text{state fixed}}\)。 (2)  
兼容的教师-学生输出接口和令牌映射可将弱输出偏置传输到学生梯度中，无需显式训练目标。  
我们的分解使用离散时间伴随敏感性分析——这是一个在最优控制、自动微分、超参数优化和元学习中发展的框架 [40, 21, 33, 18, 17]——此处应用于包含优化器动量的完整训练器状态。  

**度量。** \(\mathrm{SSE/ZERO} \coloneqq \sum_{i}(\hat{y}_{i}-y_{i})^{2}/\sum_{i}y_{i}^{2}\)：模型误差与零预测误差的比率（\(\ll 1\)：捕获信号；\(\geq 1\)：不优于预测零）。所有符号汇总于附录 A。  

### 2.2 前向：源血统如何累积  
设 \(q_t = \partial S_t / \partial \alpha\) 为训练器状态对源强度的敏感性。从 \(q_0 = 0\)（固定初始化）开始，精确递推关系为：  
\(q_{t+1} = \frac{\partial U}{\partial S} q_t + \frac{\partial U}{\partial g} \left( \frac{\partial G}{\partial S} q_t + d_t \right)\)。 (3)  
两项贡献：\(d_t\)，步骤 \(t\) 注入的新源扰动；以及 \(\frac{\partial G}{\partial S} q_t\)，累积状态扰动对当前梯度的影响——过去的扰动改变参数，进而改变后续梯度的计算方式。雅可比矩阵 \(\partial G / \partial S\) 是稀疏的：梯度依赖于当前参数 \(w_t\)，但不依赖于优化器动量 \((m_t, v_t)\)，因此只有 \(q_t\) 的 \(w\) 行反馈到梯度中；动量仅通过它们产生的参数更新间接影响后续梯度。  

### 2.3 后向：未来训练赋值  
给定终端观测器 \(O\)，定义共态 \(p_T = (\partial O / \partial S_T)^\top\) 及其后向递推，以及导出量 \(\lambda_t\)（我们称为未来价值）：  
\(\lambda_t = \left( \frac{\partial U}{\partial g} \right)^\top p_{t+1}\)，(4)  
\(p_t = \left( \frac{\partial U}{\partial S} \right)^\top p_{t+1} + \left( \frac{\partial G}{\partial S} \right)^\top \lambda_t\)。 (5)  
未来价值 \(\lambda_t\) 衡量如果步骤 \(t\) 的梯度被轻微扰动，最终行为测量会移动多少；它是从观测器后向计算，通过优化器，进入梯度端口（\(g_t\)，\(U\) 从 \(G\) 接收的值；附录 A）。我们将*共态*保留给 \(p_t\)（离散最优控制中的标准伴随变量），而将 \(\lambda_t\) 称为*未来价值*。  

### 2.4 响应恒等式  
内积 \(\mathcal{W}_t = \langle \lambda_t, d_t \rangle\) 衡量源扰动 \(d_t\) 对抗未来价值 \(\lambda_t\) 所做的**功**。沿声明的源路径 \(P_\alpha\) 连接中立臂（\(\alpha = -1\)）至特质臂（\(\alpha = +1\)），总行为变化为：  
\(O_T(\alpha=+1) - O_T(\alpha=-1) = \int_{-1}^{1} \sum_{t=0}^{T-1} \langle \lambda_t(\alpha), d_t(\alpha) \rangle \, d\alpha\)。 (6)  
在附录 F 的光滑或路径可微条件下，该恒等式沿任意绝对连续的声明源路径精确成立。数值积分和路径相关分配见附录 M.2 和 M.3。  
前向源与后向价值仅通过其内积相遇。因此，相同的存储扰动可产生正、负或零行为变化。其符号属于配对，而非任一因素单独决定。  
一阶近似下，对于在切点 \(E\) 共享相同有限血统弦 \(A_E\) 的两条路径 \(R, R'\)：  
\(\Delta O_T^R - \Delta O_T^{R'} \approx \bigl(p_E^R(0) - p_E^{R'}(0)\bigr)^\top A_E\)，(7)  
其中 \(A_E = S_E(+1) - S_E(-1)\)，且 \(p_E^R(0), p_E^{R'}(0)\) 是中点轨迹上的路径共态。  
实际计算中，程序前向运行存储轨迹，然后后向计算共态，最后累积每步内积 \(\mathcal{W}_t\)；算法 1（附录 E）给出完整伪代码。相同的更新映射 \(U\) 涵盖普通 SGD（\(S=w\)）、动量 SGD（\(S=(w, m_{\mathrm{vel}})\)）和 AdamW [32]（\(S=(w,m,v)\)）；偏差校正调度被精确处理（附录 D）。  

**验证。** 切向量递推在 Qwen2.5-0.5B [42] 上 360 个 步骤×块 单元格中得到验证（\(\mathrm{SSE/ZERO}=1.65\times 10^{-4}\)，相关性 0.9999）。后向旋转实验保持前向输出、损失、梯度范数和奇异谱，而固定头准确率下降，线性探针准确率保持稳定，Procrustes 对齐恢复访问：干预改变了信息写入的位置而非破坏它（附录 B）。  

## 3 优化器状态承载扰动  
即使源从数据中移除，源的影响仍然活跃。一阶矩差异在切点不可见，但在随后的无源更新下仍产生后代。下面的分配和状态手术定位了这种延迟效应。在滞后 24 时，局部伴随分配将 89.9% 的有符号源贡献置于一阶矩，10.6% 置于参数，−0.5% 置于二阶矩。动量 SGD 表现出相同的延迟交接，而普通 SGD 直接写入参数（图 2；附录 L）。  

**图 2：优化器中继。** (a) 在一个 Qwen 隔离脉冲单元格中，滞后 24 时伴随源族分配的 89.9% 落在一阶矩块。(b) 动量 SGD：在源结束和终端更新之间，速度源范数下降，其参数后代增长。(c) 该递推在 AdamW、动量 SGD 和普通 SGD 下达到低协议特定预测误差；普通 SGD 达到 \(\mathrm{SSE/ZERO}<10^{-12}\)。  

**块移植、重置与救援。** 由于一阶矩承载了超出参数的因果信息，添加 \(m\) 改进了相对于不加 \(m\) 相应移植的恢复效果。仅移植 \(m\) 在切点无变化，但在随后的无源更新中产生后代。在通用的 Qwen 检查点，我们从源臂复制三个状态块 \((w, m, v)\) 的任意子集到其匹配的中立源臂，将剩余块重置为中立臂的值，并将所有混合体运行通过相同的无源后缀（**救援**）。如果子集能再现完整状态的效果，则是充分的。