从方向到幅度：多模态指令调优如何重新组织Transformer隐藏状态中身份指定提示的几何编码

# 多模态指令微调如何重新组织变换器隐藏状态中身份指定提示的几何编码  
来源：https://arxiv.org/html/2607.09842  

Jorge A. Castillo  
Axis Dynamics SpA, Santiago, Chile  
[email protected], [email protected], [email protected]  

Marco Torres Yévenes  
Axis Dynamics SpA, Santiago, Chile  
[email protected], [email protected], [email protected]  

Juan Carlos Lanas  
Axis Dynamics SpA, Santiago, Chile  
[email protected], [email protected], [email protected]  

###### 摘要  

我们研究身份指定系统提示是否会在四个开放权重变换器语言模型的 token 索引隐藏状态轨迹中产生统计上可区分的几何指纹，这四个模型跨越四种后训练机制：无训练（Gemma-4-E4Bbase）、多模态 RLHF（Gemma-4-E4B-it）、RL 蒸馏（DeepSeek-R1-Distill-Qwen-7B）和监督指令微调（Qwen2.5-7B-Instruct）。通过三种受控提示条件（一个身份指定的 *axis* 提示～2129 tokens、一个长度匹配的通用助手提示和一个 26 token 的简单基线）进行比较，使用五种具有不同理论锚点的几何度量：基于 k-NN 轨迹图边向分布的 Ollivier-Ricci 曲率的 1-Wasserstein 距离、带有“去顶”各向异性校正的提示-响应对齐、初始状态余弦、PCA-50 下轴与通用聚类的轮廓系数，以及轨迹间余弦一致性。所有推断声明均基于轨迹级别的排列零分布和多种几何控制（teacher-forced 内容控制、时间链与 k-NN 图拓扑、ABT 投影 k-NN、图构建的角度与欧氏距离、内在维度估计，以及对边界统计量的 B=5000 次排列）。核心实证发现在于：身份编码的几何结构在指令微调边界上发生了定性重组：在基础权重模型 Gemma-4-E4B 中，身份指纹主要编码在隐藏状态向量的 *方向* 上（在角度 k-NN 下 Wasserstein 分离为 0.034，置换 p=0.002，此时模长被中性化）；而在多模态指令微调模型 Gemma-4-E4B-it 中，指纹迁移到了 *模长* 上：在角度 k-NN 下分离消失（p=0.439），但在欧氏 k-NN 下分离仍然存在（p=0.047，在 B=5000 时细化至 p=0.042），并且第一个生成状态的平均模长在身份提示下明显更低（‖v₁‖=138.9），而通用提示下为 211.5，简单提示下为 195.3，这与基础模型中的关系相反。这种方向到模长的重组是多模态指令微调机制特有的：在 RL 蒸馏下不存在（分离与长度相关，而非内容），在 SFT 指令微调下也不存在（无分离）。Teacher-forced 控制量化了自由运行余弦信号中约 30% 由提示驱动（约 70% 由内容驱动）。我们将方法组合——基于 k-NN 轨迹图的边向 Ollivier-Ricci 曲率分布的 W₁——作为一项独立的工作贡献。  

## 1 引言  

### 1.1 背景  

变换器语言模型（Vaswani 等，2017）基于条件提示生成流畅文本。大量研究致力于刻画模型在不同条件策略下 *输出什么* 以及特定特征 *位于参数何处*（Hewitt 和 Manning，2019；Tenney 等，2019；Belinkov 和 Glass，2019；Elhage 等，2021）。相比之下，对自回归生成过程中模型产生的隐藏状态轨迹的 *几何* 结构关注较少：即连续生成步骤中产生的内部表示序列 v₁, v₂, …, v_N ∈ ℋ，可视为隐藏状态空间 ℋ ⊂ ℝᴰ 中的一条离散路径。近期工作开始弥补这一差距。内在维度分布显示变换器表示的有效维度远低于隐藏状态大小，并随层变化（Valeriani 等，2023；Razzhigaev 等，2024）；Tuned Lens（Belrose 等，2023）揭示了逐层预测轨迹；人物向量研究（Chen 等，2025；Lu 等，2026；Wang，2025）从对比激活差异中提取身份方向，并证明人格特质可以被编码为潜在几何中的正交线性子空间。然而，这些工作均未刻画由身份指定系统提示诱导的完整隐藏状态 *轨迹* 几何：人物向量框架在单层上干预以提取或操纵身份方向，但未分析身份提示如何重塑整个 token 索引轨迹，也未比较这种重塑在不同后训练机制间的差异。  

### 1.2 研究问题  

> *身份指定系统提示是否会在变换器隐藏状态轨迹中诱导出统计上可区分的几何指纹，且该指纹超出可归因于提示长度或该提示下生成的文本内容？如果是，该指纹如何依赖于模型的后训练机制？*  

该问题通过第 2.2 节描述的四模型、三提示设计进行实证回答。新颖发现并非几何可区分性本身的存在，而是跨指令微调边界的定性重组：身份指纹从基础权重模型中的方向编码表示转变为多模态指令微调模型中的模长编码表示。这种重组是机制特异的：在 RL 蒸馏或 SFT 指令微调下未发生。  

### 1.3 理论框架（最小化）  

我们采用刻意简化的框架。我们不主张变换器具有经典动力系统描述，即带有显式向量场或严格连续动力意义上的吸引子；贪婪解码下的自回归生成是上下文的确定性函数，隐藏状态轨迹是 token 索引的离散序列，而非流。我们将该序列视为带有时间顺序的点云，并使用最优传输、图上离散微分几何和聚类分析等标准工具来量化其结构。在先前的草稿中使用的动力系统术语已替换为描述性统计语言。  

### 1.4 假设  

我们提出三个可证伪的假设；H1 和 H2 在此进行实证检验，H2 相比早期草稿通过关于编码几何基质的显式预测得到丰富。H3 留待后续通讯。  

###### 假设 1.1（仅长度正则化，H1）。身份提示与简单条件之间观察到的几何差异完全归因于提示的 token 长度，而非其语义内容。  

###### 预测 1.2（针对 H1）。长度匹配的通用条件将展现出与轴条件相当的与简单条件的几何分离。此外，第一个生成状态的均值模长 ‖v₁‖ 将随提示长度单调变化：‖v₁‖_axis > ‖v₁‖_generic > ‖v₁‖_vanilla。  

###### 假设 1.3（身份编码的机制依赖重组，H2）。身份指定提示的几何编码定性依赖于后训练机制。具体来说，多模态指令微调抑制了长提示共同的长度驱动编码，并将身份特定成分从方向基质（在基础权重模型中可见）重组为规范基质（隐藏状态向量的模长）。  

###### 预测 1.4（针对 H2）。(i) 在欧氏 k-NN 轨迹图上的边向 Ollivier-Ricci 曲率分布下，比值 R = W₁(ρ_axis, ρ_vanilla) / W₁(ρ_generic, ρ_vanilla) 满足 R_IT ≫ 1，R_base ≪ 1。(ii) 在角度 k-NN（向量在构建图前进行 L2 归一化）下，身份-简单分离在基础模型中保留，而在指令微调模型中衰减至不显著。(iii) 均值模长 ‖v₁‖ 跨指令微调边界反转：在基础模型中随提示长度单调变化，在指令微调模型中与提示长度负相关（且对身份提示最小）。  

###### 假设 1.5（扰动下的聚类鲁棒性，H3）。轴轨迹聚类在中等噪声注入于中间隐藏状态时，统计上比简单聚类更鲁棒。H3 在姊妹篇中检验。  

### 1.5 贡献  

**方法论。** 据我们所知，这是首次将变换器隐藏状态轨迹的 k-NN 图上的边向 Ollivier-Ricci 曲率分布的 1-Wasserstein 距离作为图级比较统计量。相关工作已应用 W₁ 于持久性图（Cohen-Steiner 等，2007，2010）或表示分布（Alvarez-Melis 和 Jaakkola，2018），以及应用 Ollivier-Ricci 曲率于图神经网络表达性分析（Topping 等，2022；Nguyen 等，2023），但尚未应用于轨迹 k-NN 图的边向曲率分布。如有先例，欢迎指正。  

**实证。** 一项四模型、三条件的完整边向 Ollivier-Ricci 协议研究，覆盖所有四个模型，揭示了多模态指令微调机制特有的身份编码的方向到模长重组。Teacher-forced 内容控制量化了余弦信号中提示驱动成分约占自由运行幅度的 30%。  

**推断纪律。** 统一的轨迹级排列检验协议，辅以各向异性基线、去顶校正（Mu 等，2018；Timkey 和 van Schijndel，2021）、k-NN 参数的灵敏度扫描、ABT 投影图构建、内在维度估计（Facco 等，2017），以及对边界统计量的高精度排列（B=5000）。  

## 2 理论基础  

### 2.1 隐藏状态轨迹  

设 M: Σ* → Δ(Σ) 为一个自回归变换器，将字母表 Σ 上的 token 序列映射到 Σ 上的分布。在贪婪解码下，M 基于条件提示 p 产生确定性 token 序列。在每一步 t，前向传播在每一层和每一 token 位置产生隐藏状态；我们提取最终预 lm_head 层、最近生成 token 位置的隐藏状态，记为 v_t ∈ ℝᴰ。  

###### 定义 2.1（隐藏状态轨迹）。模型 M 在提示 p 下产生的长度为 N 的 *隐藏状态轨迹* 是 T(p, M, N) = (v₁, …, v_N)，其中 v_t ∈ ℝᴰ。我们固定 N=256。令 v₀ 表示最终提示 token 处的隐藏状态，即生成开始前的那一刻。  

### 2.2 实验设置  

我们在四个模型上比较三种系统提示条件。  

##### 条件。  
- **axis**：身份指定提示（约 2129 tokens）。  
- **generic**：长度匹配（约 957 tokens）的通用助手提示，指定通用对话行为，*不含身份内容*。这是针对假设 1.1 的关键控制。  
- **vanilla**：最简基线 "You are a helpful assistant."（26 tokens）。  

axis（约 2129 tokens）与 generic（约 957 tokens）之间的长度差异约为 2 倍，两者均远大于 vanilla（约 26 tokens）。这种不对称性在第 4.1.2 节的模长分析中明确处理，该分析检验 ‖v₁‖ 是随长度单调变化（H1 的预测）还是非单调变化（H2 的预测）。  

##### 模型。  
表 1：四个模型跨越四种后训练机制。均处于 7–8B 参数范围内；规模缩放不在讨论范围内。  

##### 提取。  
对于每个（模型、条件、提示）三元组，贪婪解码 N=256 tokens，每一步存储最终层、最新 token 位置的隐藏状态。提示集 P 包含 100 个本体提示（见附录 A）。  

## 3 方法  

我们描述每种度量，将其置于文献中，并说明它检验哪个预测。符号：一条轨迹为 T = (v₁, …, v_N) ∈ ℝᴰ；T 的质心为 v̄(T) = N⁻¹∑_{t=1}^N v_t。对于每个条件 c 和提示 p，我们得到轨迹 T^(c,p)。  

### 3.1 基于 k-NN 轨迹图的 Ollivier-Ricci 曲率  

##### 定义。对于轨迹 T，在点集 {v₁, …, v_N} 上构建 k-最近邻图 G_k(T)，基于选定的 RM 上的基础度量 d。对于每条边 e = (x, y) ∈ E(G_k(T))，带惰性参数 α ∈ [0,1) 的 Ollivier-Ricci 曲率为  
κ_O(e) = 1 - W₁(m_x^α, m_y^α) / d(x, y)，  
其中 m_x^α = α δ_x + (1-α) Unif(N(x)) 是 x 的 1-邻域 N(x) 上的惰性随机游走测度。我们使用 α = 1/2（遵循 Sandhu 等，2015；Topping 等，2022），并精确求解每条边的最优传输子问题。