分层递归推理中的交互局部性

# 分层递归推理中的交互局部性
来源: https://arxiv.org/html/2605.20784

###### 摘要

空间推理需要兼具位置约束的计算与位置无关的结构：智能体必须做出局部移动，同时保留路线、物体或约束层面的规划。我们提出交互局部性（interaction locality），一个基于任务几何的框架，用于测量信息流是停留在相邻单元或语义片段内，还是跨越它们。我们通过稀疏自编码器（SAE）特征消融和有限噪声激活修补来实例化该框架，并在附录中报告结构雅可比矩阵和注意力检查，随后将其应用于 HRM 和 TRM（两种紧凑的分层递归推理模型），在 Maze-Hard、Sudoku Extreme 和 ARC-AGI 任务上进行测试。在这些模型中，激活修补给出了最清晰的架构特征：高层递归状态倾向于在相邻单元或同段单元内写入信息，而重复的递归更新将这些局部写入累积成更广泛的解结构。这一模式在迷宫路径、数独约束和 ARC-AGI 物体邻域中均成立，其中 TRM 的集中程度最强。为了测试交互局部性是否超越玩具级但具挑战性的网格基准，我们还将其应用于 MTU3D（一个大规模具身 3D 场景理解模型）。在 MTU3D 设置中，因果空间局部性主要出现在视觉场景特征传递给下游理解模块的过渡处，而非在整个视觉编码器中均匀分布。这一对比表明，HRM 和 TRM 中观察到的局部到全局切换与显式的递归推理动力学相关联，而具身 3D 模型则可能将因果空间结构集中在模块边界处。交互局部性将直观的局部执行/全局规划故事转变为一个可复现的测量框架，适用于递归和具身空间推理。

## 1 引言

空间推理对现实世界智能体至关重要：机器人操作物体、车辆规划避开障碍、导航系统在维持路线意图的同时搜索地图。这些任务需要显著的尺度分离。模型必须保留位置特定的事实，如墙壁、单元格、颜色和即时移动，同时也要形成位置无关的结构，如走廊、约束区域、物体和全局规划。由于空间推理系统可能影响物理动作，可解释性应解释局部和全局信息如何流经计算过程。

紧凑的递归架构为这一问题提供了聚焦的测试平台。分层推理模型（HRM；Wang et al. (2025)）和极简递归模型（TRM；Jolicoeur-Martineau (2025)）通过重复应用小型 Transformer 模块（Vaswani et al., 2017）来解决具有挑战性的 Maze-Hard、Sudoku Extreme 和 ARC-AGI 任务。HRM 拥有独立的高层和低层模块，而 TRM 在递归调用中重复使用单个模块。将 H 状态等同于全局规划，将 L 状态等同于局部优化是很诱人的，但这只是一个假设，而非机制性测量：标签并不决定一次更新的空间范围。

我们通过交互局部性使这一假设变得可检验。对于每个任务，外部几何结构定义了精细单元和较粗的语义片段：迷宫单元格和走廊、数独单元格和宫、以及 ARC-AGI 前景单元格和物体。我们探究隐藏特征、更新核或有限扰动是停留在这些邻域内还是跨越它们。这给出了一个统一的坐标系，用于比较跨架构的局部移动、约束传播、物体级聚合和路线级规划。

我们的贡献是一个统一的局部性框架，以及对 HRM/TRM 在分层探测套件下的受控分析。稀疏自编码器（SAE）特征消融展示了人类可读的片段效应，有限噪声激活修补提供了空间范围的主要因果测试，附录中的结构雅可比矩阵/注意力检查报告了相应的线性化或架构拓扑结构。这些探测得出比非正式的“H 是全局的”故事更锐利的结论：在 Maze、Sudoku 和 ARC-AGI 上，H 层的写入往往比 L 层写入在空间上更集中，但跨周期的传播仍可将这些摘要广泛地带入递归状态。我们还将该框架的压力测试从玩具网格扩展到 MTU3D（一个 3D 具身导航和理解模型 (Zhu et al., 2025)）在 ScanNet 室内场景 (Dai et al., 2017) 上。在那里，因果空间局部性出现在视觉到理解的交接处，但在统一的编码器内部基本消失。

## 2 背景与相关工作

HRM 和 TRM 均通过重复推理步骤维护携带状态 \(z_H, z_L \in \mathbb{R}^{B \times T \times D}\)。我们将 H1L1 等周期标签记为零索引的高阶段/低调用位置。在一次低调用中，

\[
z_L^{(n+1)} = f_L(z_L^{(n)}, z_H^{(n)} + \mathbf{e}), \qquad z_H^{(n+1)} = f_H(z_H^{(n)}, z_L^{(n+1)}),
\]
(1)

其中 \(\mathbf{e}\) 是标记嵌入流。HRM 使用不同的 \(f_L\) 和 \(f_H\) 模块；TRM 在 H/L 调用之间共享单个模块，因此任何 H/L 的区分必须来自调用上下文和状态轨迹，而非模块身份。预测和 ACT 停止 (Graves, 2016) 从 \(z_H\) 读取。

机制可解释性通过因果中介、电路和稀疏特征研究神经计算 (Elhage et al., 2021; Meng et al., 2022; Bricken 等人, 2023)。结构化领域很有用，因为外部几何结构为评估内部变量提供了可解释的基础：先前工作在国际象棋、迷宫求解 Transformer 和地理表示中发现了空间基础的状态 (Toshniwal 等人, 2022; Jenner 等人, 2024; Ivanitskiy et al., 2023; Spies et al., 2024; Sabbata et al., 2025)。最近的空间推理模型将这一动机扩展到静态 VLM、导航和机器人策略：SpatialVLM 注入空间监督，NaviLLM 类模型标记化视角/历史，OpenVLA 类策略将视觉-语言状态映射到动作 (Chen et al., 2024; Zheng et al., 2024; Kim et al., 2024)。这些系统的可解释性正从可视化转向探测、特征干预、空间/时间 ID 和推理痕迹 (Spies et al., 2024; Kang et al., 2026; Wu et al., 2025)。这些研究激发了一个可重用的框架：任务特定的可视化很有价值，但需要一种共同的局部性概念来比较跨任务和跨架构的推理。

对于空间推理，因果可解释性最终应询问当内部状态改变时会发生什么。激活修补及相关干预在语言模型中定位因果中介 (Meng et al., 2022; Syed et al., 2023)，而空间推理可解释性已开始在迷宫、网格世界和 VLM 环境中结合探测、稀疏特征和因果干预 (Spies et al., 2024; Kang et al., 2026; Wu et al., 2025)。因此，我们将局部性视为一个干预层面问题：在扰动一个单元、物体或周期状态后，效应是停留在源头附近、保持在语义片段内、还是全局传播？雅可比矩阵和注意力核仍然是有用的结构摘要，但主要框架强调有限扰动，因为它们更接近于非无穷小变化下的因果行为。

## 3 实验设置与方法

我们分析了已发布的 HRM 和 TRM 检查点，在 Maze-Hard、Sudoku Extreme 和 ARC-AGI 上。HRM 使用 \(2 \times 2\) 的 H/L 调度；TRM 使用共享模块和更长的调度（Maze/ARC-AGI 有 3 个高阶段和 4 个低调用，Sudoku 有 6 个）。主要分析锚定于由状态变化收敛选择的关键周期位置：所有任务的 HRM H1L1，Maze/ARC-AGI 的 TRM H2L3，以及 Sudoku 的 TRM H2L5。有限噪声修补每个模型-任务单元使用 \(n=50\) 个示例。ARC-AGI 邻域是将网格填充至 \(30 \times 30\) 并过滤出具有 2–15 个组件的示例后，同一颜色的 4 连通前景组件。附录 G 报告了结构雅可比矩阵分析及其样本数量。

#### SAE 语义局部性。

对于关键周期的 H 和 L 激活，我们训练独立的稀疏自编码器（\(512 \rightarrow 2048\)，\(\lambda_1 = 10^{-3}\)），按消融影响对特征排序，并计算每个特征的效果有多少保持在任务段（走廊、数独宫或 ARC 物体）内。SAE 局部性是人类可读但针对特征的：它揭示了单个稀疏特征的作用位置，但不一定能反映整个更新的聚合拓扑。

#### 有限噪声激活修补。

对于源位置 \(v\)、注入层 \(a\) 和捕获层 \(b\)，我们通过 \(\sigma_a \epsilon\)（\(\epsilon \sim \mathcal{N}(0, I)\)）扰动单个激活向量 \(z_a[v]\)，并在每个目标位置 \(u\) 测量激活差异场：

\[
A_{a \to b}[u,v] = \| z_b^{\mathrm{patched}}[u] - z_b^{\mathrm{clean}}[u] \|_2, \quad L_{a \to b}(v) = \frac{\sum_{u \in \mathcal{N}(v)} A_{a \to b}[u,v]}{\sum_u A_{a \to b}[u,v]}.
\]
(2)

邻域 \(\mathcal{N}(v)\) 在测量前固定：沿迷宫路径距离最多为 1，同一 \(3 \times 3\) 数独子网格，或同一 4 连通 ARC-AGI 前景物体。分母遍历同一有效任务位置，且总激活变化为零的行被排除在平均值之外。随机基线使用相同的邻域大小计算，因此 \(L_{a \to b}\) 被解释为相对于几何匹配空值的局部性。噪声尺度独立于局部性分数进行校准：Maze 和 Sudoku 复用可靠性校准尺度，目标是在探测位置达到约 30% 的自降；而 ARC-AGI 使用跨数据集运行的信噪比 SNR=1 校准。我们报告 L 内、H 内以及跨层级/跨周期的类比；值越高意味着有限扰动的因果作用范围在空间上越局部。结构雅可比矩阵和注意力类比在附录 G 中定义并报告，作为拓扑检查而非有限因果效应。

表 1：用于实例化交互局部性的探测套件。正文优先使用有限扰动作为因果证据；SAE 特征提供语义可读性；仅限附录的结构探测报告线性化拓扑和注意力偏差。
(a) 任务几何。见标题。
(b) 交互局部性流水线。见标题。

图 1：交互局部性框架。面板 (a) 显示了定义局部性的任务几何：迷宫路径单元和走廊、数独单元和 \(3 \times 3\) 宫、以及 ARC-AGI 前景物体/示例。面板 (b) 展示了相同的测量套件如何跨模型对齐：HRM 和 TRM 在关键递归步骤和周期处分析，而 MTU3D/ScanNet 在关键层或块处分析。绿色测量框表示按段/邻域的 SAE 语义局部性，蓝色框表示周期内或层内的有限噪声修补敏感性，紫色框表示跨周期或跨层的修补敏感性。结构雅可比矩阵和注意力诊断在附录中报告，作为拓扑检查而非主要的有限干预证据。

#### MTU3D/ScanNet。

对于具身 3D 扩展，我们在 ScanNet 室内场景 (Dai et al., 2017) 上分析 MTU3D (Zhu et al., 2025)。MTU3D 是一个 3D 占用 Transformer 模型，从物体级场景特征预测场景结构；ScanNet 提供了具有物体几何和语义标注的重建室内环境。我们在 30 个 ScanNet 场景上评估交互局部性，通过在选定层/块修补物体级激活，并测量模型场景补全或占用预测指标的变化。局部邻域由重建 3D 场景中的物体距离定义，随机近物体修补提供几何匹配基线。

#### 代码可用性。

## 4 结果

### 4.1 收敛性确定分析窗口

隐藏状态在推理早期变化最剧烈。图 2 显示 Maze 具有最清晰的第一步下降，Sudoku 在多个步骤中衰减，而 ARC-AGI 没有单一骤降。图 3 中的定性比较显示了为什么这个早期窗口值得分析：第一步解码已经包含了最终解结构的许多部分。同时，这些解码是观察性的。它们证明了分析窗口的合理性，但并未确定哪些位置因果地影响后续更新。因此，本文的其余部分使用交互核和有限扰动进行机制性断言。

图 2：HRM（上）和 TRM（下）在推理步骤间的 H/L 隐藏状态变化。蓝色曲线追踪 H 层变化，橙色曲线追踪 L 层变化；阴影带表示示例的 95% 自助法置信区间。Maze 在第一步后变化剧烈，Sudoku 在几个步骤中细化，ARC-AGI 缺乏单一的收敛骤降；这些轨迹为后续分析选择了关键窗口。附录 D 给出了 Q 值视图。

图 3：所有模型-任务对的初始、第一步和最终解码输出（HRM 上排，TRM 下排；列依次为 Maze、Sudoku、ARC-AGI）。每个面板显示输入/初始状态、第一步推理后和最终步骤的解码任务结构；颜色遵循路径、数字或 ARC 物体的任务特定输出约定。第一步已包含跨领域的可识别任务结构，支持其作为解形成的窗口。

### 4.2 激活修补给出局部性指纹

SAE 特征提供了有用的片段级视图（图 4）：Maze HRM 的 L 层特征比 H 层特征更局部，而 S