超越追踪：将可解释推理状态读出与原生MoE路由耦合

# 超越追踪：将可解释推理状态读出与原生MoE路由耦合  
来源：https://arxiv.org/html/2608.17638  
\]复旦大学 \]上海创新研究院  
\\checkdata\[Email\],†\\checkdata\[Project\]cckfdu\.com/jar (https://cckfdu.com/jar/)  

###### 摘要  
推理模型所生成的内容仅是其产出过程的**部分记录**。我们为混合专家（MoE）推理引入了一个**两级内部读出机制**。首先，我们将词表规模的J空间蒸馏为J64——一个基于模型自身推理状态学习到的64维语义框架。J64揭示了生成文本中不可见的、可读的过程状态：它能够区分**推理努力程度**与**问题导致的张力**。相比于使用相同滚动轨迹、以令牌占用率为基础并以完全相同方式聚合的基线模型，J64在保留的AUC上实现了**0.096到0.135**的提升。  

随后，我们从原生专家路由统计中重构J64，得到**R64**——一个低开销的代理指标。在三个模型和两个系列中，其各维度中位数相关系数达到**0.69至0.86**，在gpt-oss-20b上保留了J64预测增益的**95%至100%**。  

该读出机制支持两种时间粒度的测试时决策：  
- 在已完成的候选解集上，J64和R64提升了单分支选择性能，且在八个场景中的七个里，R64加权投票优于普通多数投票。  
- 在生成过程中，滚动读出窗口驱动**累积式停止-重采样策略**，其操作点仅基于训练问题固定。J64相比兄弟排列对照组提升了**1.1至5.9**个百分点的准确率，而仅依赖路由的R64代理保留了其中的**0.9至3.2**个百分点。  

最后，针对J64所标识机制的路由编辑，诱导出了预期的推理行为，并将诊断出的停顿从数值猜测转向了精确符号执行。总之，J64使潜在过程状态可读，而路由使其可部署且可行动。  

## 1 引言  
图1：内部读出机制概览，以gpt-oss-20b对AIME-24问题29的高难度滚动为例。  
(a) 一对基于生成文本匹配的轨迹：轨迹1898与同一问题的兄弟轨迹生成了相同的15个令牌片段，但它们在该片段上的J64读数沿命名维度（柱状图，在问题内标准化）呈现分离。后续生成由此分叉，且仅有一条轨迹正确。  
(b) 同一轨迹在(a)中“具体细节”维度（1024个令牌的中心平均值）的端到端表现。某维度的“令牌家族”是其最近的20个词表方向。该维度的家族词汇在此23k令牌的生成中无一出现，且在64个维度中有31个维度同样如此，但其读数仍在持续变化。  
(c) (b)中静默维度的重构结果，仅基于原生路由数据并在相同令牌轴上绘制。一个采用问题留出折进行拟合的岭图，从256个令牌窗口的第20层专家使用谱中恢复了它。64个维度的中位数r为**0.69**，其中30个超过**0.7**（打乱路由后为**0.00**）。所示维度排名第12。  

推理轨迹是检查和控制推理模型的主要接口，但它们记录的是模型**选择输出的内容**，而非产生输出的**完整过程状态**。它们无法直接揭示哪些约束和替代方案仍然有效，无法判断较长的推导是源于更大的努力分配还是真正的困难，也无法判断当前分支是否正变得低效。图1(a)具体化了这一差距：在同一问题上的两条轨迹生成了相同的局部15令牌片段，但语义读出已将其沿命名的推理维度分离。随后它们的延续分叉，且仅有一条成功。对于测试时选择和计算分配，此类区分比最终答案更早显现其重要性。  

雅可比透镜将中间隐藏状态映射到与词表对齐的方向上，这些方向代表模型后续可能用语言表达的内容[7]。以此读取状态可得到J空间。例如，对“约束”一词的高读数并非意味着模型已输出该词，而是表明当前状态支持该概念的可语言化表征。因此，J空间能揭示生成追踪中保持沉默的考量因素。然而，其原始形式为每个词表项携带一个坐标，这使其过于庞大且冗余，不利于轨迹监控。  

我们由此将这种词表规模的读出转化为J64——一个紧凑的语义框架，无需依赖结果、努力或难度标签构建。从模型自身的推理状态中，我们识别出持续获得高J空间读数的词表方向，将相近重复项合并为64个语义族，并以每个族的加权平均方向作为一维。轴名称仅在构建后分配，不影响读出过程。J64将每个隐藏状态映射到一个包含**可读轴**（如“谨慎”、“算术”、“约束”、“可选性”）的64维推理仪表板（图2b）。窗口和轨迹平均值描述了过程的演变。因此，J64是潜在推理状态的**坐标系**，而非正确性分类器或预测令牌列表。即使锚定词在附近轨迹中缺失，其轴依然保持活跃。它们将**推理姿态**与**问题导致的张力**分离，并在保留的AUC上比以相同方式聚合的令牌占用率基线提升**0.096–0.135**。  

J64使潜在状态可读，但需访问隐藏状态。MoE推理在每个令牌处已输出专家分配和门权重，尽管原始路由本身并无明显意义。因此我们学习R64，从原生路由统计中重构相同的64维语义坐标（图1c）。在三个模型和两个系列中，R64达到各维度**0.69–0.86**的中位数相关系数，并在gpt-oss-20b上保留了J64预测增益的**95–100%**。R64由此将原生路由转化为低开销、语义化锚定的推理状态遥测。  

我们的贡献有三方面：  
1. J64为轨迹所隐含的过程状态提供了紧凑、可读的描述。  
2. R64从原生MoE路由中重构该状态，形成低开销的部署形式。  
3. 该遥测在测试时发挥作用：它改进了已完成轨迹的选择、八个场景中七个的多数投票加权，以及在线停止-重采样决策；且针对命名机制的路由编辑使推理向读出预测的方向转变。  

## 2 相关工作  
**读取内部状态**：与词表对齐的透镜和线性探针表明，中间激活可以暴露模型输出未直接展示的信息[15, 2, 1, 13, 22, 12]。最接近的工作[7]引入了雅可比透镜，并将J空间识别为一组可语言化的、能承载静默中间推理的表征集。我们在此操作性地使用该读出，而非测试其全局工作区特性。我们的贡献在于：将其词表规模输出蒸馏为紧凑的轨迹级框架，从原生MoE路由中恢复该框架，并利用所得遥测进行测试时选择与控制。  

**测试时计算与选择**：重复采样扩大了可达解集[3, 19]，多数投票聚合这些候选解[21]，过程奖励模型基于文本对其进行评分[10]。另一条路线在不改变权重的情况下延长推理[14]。纯文本的自我纠正仍然困难[8, 4]。我们的选择器与这些方法的区别在于其读取对象：是内部状态或其路由代理，而非轨迹。相同的遥测也支持在生成**过程中**进行停止和重采样，此时答案层面的共识尚不存在。  

**MoE路由**：路由通常用于容量、负载平衡和专家专业化研究[18, 5]，而行为控制则通过将方向写入残差流实现[20, 9]。与我们的在线实验最接近的是DeepConf[6]：它基于令牌级置信度过滤或早期停止推理轨迹，无需训练，但仅读取输出分布。我们始终将其用作置信度基线，并将路由视为语义传感器。在针对透镜进行一次性校准后，使用谱可重构可解释的读出并继承其下游价值。这将负载平衡的副产物转化为可部署的遥测。  

图2：工具概览：命名读出、路由代理、三种测试时决策。  
(a) 在单个令牌位置，我们根据与词表对齐的方向读取隐藏状态$h_t$，显化该状态所支持的概念（无论轨迹是否写出这些词）；其中两个高读数被虚线标注，而轨迹未写出任何一个词。“谨慎”的高读数并不意味着模型输出了该词。  
(b) 这些方向被合并为J64框架的64个命名轴，每个模型构建一次，仅在构建后命名（§4.1）。相同的读数可通过两种成本差异巨大的方式获得：从隐藏状态（需通过模型重放轨迹），或从原生专家路由（生成过程已产出）。花括号标记两条路径通向相同的64维坐标，而非两个碰巧相似的读出：岭图通过一次拟合，以J64为目标，从路由中无结果标签地重现J64，并以**r=0.69–0.86**的各维度中位数一致性恢复它（§4.2）。  
(c) 路由统计由生成过程本身输出，因此读取R64仅需一次岭投影，而非第二次前向传播。R64因此是服务时唯一可用的副本，并用于实际操作：**轨迹选择**（在已完成轨迹间，§5.1）、生成过程中的**在线停止**（基于滚动窗口，§5.2）、以及**路由编辑**（移动命名轴以测试读出的因果语义，§5.3）。  

## 3 方法与协议  
图2总结了本节规定的工具：隐藏状态的词表对齐读出、从原生专家路由重构该读出，以及随后读取重构结果的时间粒度。  

#### 模型与数据  
我们的主要模型是gpt-oss-20b[16]，一个混合专家推理模型，其离散的推理努力设置（低/中/高）可在不改变权重的情况下延长推理轨迹。复制实验在gpt-oss-120b上进行以验证规模，并在Qwen3-30B-A3B（思考与指令模式）上进行以验证第二系列。数据集为竞赛数学：AIME-24、AIME-25、HMMT-25和BRUMO-25，每个问题集包含30个问题，每个设置下最多采样64条轨迹/问题。架构细节、透镜层范围和词库规模见附录B.1和B.3。研究问题作用于不同节点：RQ3在已完成轨迹间选择，RQ4对256个令牌窗口评分以决定是否停止并重采样，RQ5在实时生成中编辑路由。RQ1和RQ4仅将自然终止且得到正确答案的运行视为成功，而RQ3对任何可提取的答案进行评分（附录B.2）。  

#### J64读出  
一个状态由64个概念读数描述，一条轨迹$\tau=(y_1,...,y_T)$则由其均值描述：$\phi_{\mathrm{J}}(\tau)=\frac{1}{T}\sum_{t}J64(h_t)$。实现中，透镜按模型拟合并在单一层读取。候选方向由稀疏编码质量或透镜解码频率引导（取决于哪个通过该模型的两个构建池诊断）；后续构建步骤在两种引导下均相同。读数本身为$J64(h)=A^+(h-\mu)$，其中框架$A=[a_1\cdots a_{64}]$，$A^+$是伪逆而非转置，因为各轴不正交。附录B.1的算法1给出了完整构建过程：两种引导器及其选择方式、每个模型的层、读数报告单位以及轴名称。框架轴分两类：一些命名推理概念，另一些标记模型当前生成的文本类型，如数字、非英语令牌或写作风格变化。附录A.1列出了所有轴及其命名依据。在可读性审计中，64个轴中有**51个**高度可读，且**85%**的最近邻词表词为内容词，而相同状态的容量匹配PCA基仅为32/64和74%。  

#### R64代理  
我们为每个模型将三个MoE层总结为使用谱：每个专家的门权重（在其自身路由分配上累积并按运行令牌数归一化）加上每层一个门熵。即gpt-oss-20b有9个特征，两个128专家模型有387个特征。在此谱上，我们学习一个岭图$\mathrm{R64}(\tau)=g_\theta(\mathrm{routing}(\tau))$，映射到64个J64轴，且不使用结果标签：该图仅针对J64进行校准。RQ2通过问题留出折测量整个设置的重构保真度。RQ3的部署实验则仅在源基准上拟合图谱，并在看到任何目标前冻结它。  

#### 代理节省了什么  
框架已包含透镜，因此J64投影是一次64×d矩阵乘法。成本在于获取其读取的状态。我们的生成栈将专家分配和门权重作为路由副产品输出，但不输出激活值，因此J64读数意味着需通过模型重放轨迹进行第二次前向传播。R64读取生成过程已产出的内容，仅增加特征聚合和一个轻量回归头。拟合该图是一次性校准，且是唯一需要透镜的步骤，因为它需要具有配对路由和J64读数的轨迹。RQ2中每个模型和努力设置拟合一次，RQ3中每个迁移折在源基准上拟合一次；此后该图谱被冻结。