浅层思考，深层解决：控制循环动态以实现可靠的测试时深度

# 浅层思维，深层求解：控制循环动态以实现可靠的测试时深度
来源：https://arxiv.org/html/2608.18222
Kirill Borodin、Amirah Almutairi、Serguei Barannikov、Maxim Abramov、Grach Mkrtchian

###### 摘要
循环深度推理器旨在通过在测试时更长时间地迭代更新来解决更困难的问题，但额外的迭代可能改善、保持或降低答案质量。我们证明，训练操作器的一个可度量属性——其有限时间动态状态（估计为稳定、临界或漂移）——可以指示这三种情况中哪一种会发生。我们给出了深度安全性的充分条件：一旦操作器的每步位移相对于解码器余量较小，则在后续迭代中解码答案无法改变。实验表明，在针对每个难度层级训练了800个未增强示例的算法任务上，稳定操作器不会因增加深度而降低性能，并且在某些任务上，它将增加深度转化为对更难的未见实例的更高准确率（数独任务中，从训练范围之外的0.19提升至0.34）。单一的终端固定点目标同时改变了动态状态和深度行为：移除它会导致漂移并消除增益，而将其添加到通用循环结构中则能在进位传播任务上产生深度安全的外推。我们提出了四个可用于测试时深度的操作标准，用其编目失败模式，并作为一致性检验，对Huginn-3.5B应用了相同测量，该模型属于非稳定类型。

## 1 引言
循环深度推理器（即对同一模块重复应用以“更长时间思考”更难输入的网络）是小型模型可能如何推理的一个日益流行的答案。然而，Tiny Recursive Model（23 (https://arxiv.org/html/2608.18222#bib.bib1)）仅在经过约1000倍增强后才能解决数独（若无增强，在我们的方案下，同一循环结构得分0.00）；HRM（42 (https://arxiv.org/html/2608.18222#bib.bib2)）同样依赖增强；而在35亿参数规模下，Huginn的额外循环仅带来边际收益并迅速达到平台期（19 (https://arxiv.org/html/2608.18222#bib.bib3); 29 (https://arxiv.org/html/2608.18222#bib.bib4)）。在这三种情况中，架构虽然包含循环，但训练并未使其行为像一个算法：增加的迭代并未可靠地提高在更难实例上的准确率。

循环推理器是一个迭代映射 \(z_{t+1}=f(z_{t},x)\)，而迭代更长是否有帮助取决于该映射的有限时间动态：状态是趋向一个依赖于输入的固定点、保持临界状态，还是发散。此类映射存在丰富的理论（第2节 (https://arxiv.org/html/2608.18222#S2)），然而推理架构的设计、训练和扩展均未测量任何相关指标，而是通过增强和参数来补偿。我们将这一动态状态作为研究对象：我们在每个训练好的操作器上对其进行测量，询问它对测试时深度有何预测，并直接对其施加干预。

我们的实验涵盖了一个受控循环配方（CoRe）的留一法消融实验以及七个重新实现的架构，所有实验均在统一协议下训练：固定、未增强的数据，每个层级800个示例，三个种子（三个主要分支重新播种至约20次）。难度阶梯有两种类型（第3.1节 (https://arxiv.org/html/2608.18222#S3.SS1)）：扩大输入的阶梯（其成功取决于尺寸不变性而非动态）和仅加深计算的固定尺寸阶梯。在后者上，动态状态预测了额外迭代的效果：稳定操作器将其转化（数独 → 0.19 → 0.34）或保持其未训练的平台期（可达性任务上为0.92），而临界和漂移操作器则保持平坦、崩溃或衰退；哪种架构会稳定取决于任务（在进位传播任务上是TRM风格的注意力循环，而非CoRe）；一个终端目标项可以双向切换动态状态（图2 (https://arxiv.org/html/2608.18222#S5.F2)，图3 (https://arxiv.org/html/2608.18222#S5.F3)）。

我们的贡献如下：
1. 一个关于有用测试时深度的操作性说明：四个标准及其可测量的失效案例，以及一个命题，确定了测量到的稳定状态保证了什么（深度安全，以及自适应稳定时间的边界），而什么是经验性的（第5节 (https://arxiv.org/html/2608.18222#S5)）。一个测量套件记录了每次运行的谱、动态、信息流和拓扑信号。
2. 动态状态预测了测试时深度的命运：稳定操作器是深度安全的，并在某些任务上转化深度，而临界和漂移操作器则在两者之一或两者上失败；在我们的研究中，每次失败都可归入四种可测量模式之一，且谱和拓扑特征在每次运行中一致（第5、6节 (https://arxiv.org/html/2608.18222#S5)，(https://arxiv.org/html/2608.18222#S6)）。
3. 一个训练项同时改变了动态状态和深度行为：终端固定点目标，移除它，会将稳定状态变为漂移，并在架构不变的情况下消除转化或安全性；将其添加到替代循环结构中，它在之前增加深度会降低模型性能的任务上同时产生了两者（第5.4节 (https://arxiv.org/html/2608.18222#S5.SS4)）。
我们将相同的工具应用于Huginn-3.5B（第7节 (https://arxiv.org/html/2608.18222#S7)），这些工具将其归为非稳定家族，并且一个源自相同分类法的无标签目标修复了其深度安全性（数字复制任务 0.00 → 1.00），但未引入转化能力。

## 2 相关工作
#### 循环深度推理器。
TRM（23 (https://arxiv.org/html/2608.18222#bib.bib1)）和HRM（42 (https://arxiv.org/html/2608.18222#bib.bib2)）使用微小的循环核心解决困难谜题，但依赖于约1000倍的增强；Huginn-3.5B（19 (https://arxiv.org/html/2608.18222#bib.bib3)）将潜在循环扩展到35亿规模。输入回忆（5 (https://arxiv.org/html/2608.18222#bib.bib8)）、由易到难迭代（37 (https://arxiv.org/html/2608.18222#bib.bib9)）以及约束图消息传递（33 (https://arxiv.org/html/2608.18222#bib.bib10)）提供了配方组件（17 (https://arxiv.org/html/2608.18222#bib.bib32); 26 (https://arxiv.org/html/2608.18222#bib.bib33)，参考对比）。平衡推理器（22 (https://arxiv.org/html/2608.18222#bib.bib31)）假设推理源于学习到的吸引子；我们测量谁学习了吸引子并因果性地翻转它。27 (https://arxiv.org/html/2608.18222#bib.bib7) 从行为上观察到类似“grokking”的转变（12 (https://arxiv.org/html/2608.18222#bib.bib6); 44 (https://arxiv.org/html/2608.18222#bib.bib5)，参考对比），29 (https://arxiv.org/html/2608.18222#bib.bib4) 在Huginn中发现少量潜在思维链；我们提供了在推理映射上同时观察到两者的工具。最接近的是，28 (https://arxiv.org/html/2608.18222#bib.bib44) 从理论上分析了循环Transformer的固定点稳定性；我们测量训练好的循环在每次运行、跨架构中的动态，并因果性地切换它们。

#### 深度学习中迭代映射的动态。
动态等距（36 (https://arxiv.org/html/2608.18222#bib.bib11); 34 (https://arxiv.org/html/2608.18222#bib.bib12)）、深度平衡模型（2 (https://arxiv.org/html/2608.18222#bib.bib13)）以及RNN中的非正规瞬态动态（25 (https://arxiv.org/html/2608.18222#bib.bib16); 32 (https://arxiv.org/html/2608.18222#bib.bib17); 40 (https://arxiv.org/html/2608.18222#bib.bib18)）提供了映射层面的理论。1 (https://arxiv.org/html/2608.18222#bib.bib28) 表明路径独立性与平衡模型中的向上泛化相关，并且需要权重绑定和输入注入，这与我们的回忆消融崩溃相印证；我们的R4（第5.1节 (https://arxiv.org/html/2608.18222#S5.SS1)）是其单初始化的体现。我们的差异点在于：一个跨完整消融×架构矩阵的失败分类法，一个具有两种可区分后果（转化 vs. 深度安全）的训练目标开关，以及谱各向异性区分“已稳定为算法”与“仅仅稳定”。自适应停止有其自身的脉络（20 (https://arxiv.org/html/2608.18222#bib.bib29); 4 (https://arxiv.org/html/2608.18222#bib.bib30)）；我们的R2的不同之处在于要求自适应性转化为正确性（第5.1节 (https://arxiv.org/html/2608.18222#S5.SS1)）。稳定性边缘（15 (https://arxiv.org/html/2608.18222#bib.bib15)）涉及训练损失海森矩阵，而非推理映射。一系列工作先验地强加动态属性：3 (https://arxiv.org/html/2608.18222#bib.bib14) 通过正则化更新的雅可比矩阵来稳定DEQ平衡点，最近的推理器也遵循此道，包括强制收敛到稳定平衡点（18 (https://arxiv.org/html/2608.18222#bib.bib19)）、谱半径正则化（43 (https://arxiv.org/html/2608.18222#bib.bib20)）以及稳定性约束的自适应深度（30 (https://arxiv.org/html/2608.18222#bib.bib21)）。我们转而测量哪些属性是被学习到的，证明σ<sub>max</sub>控制具体失败（第6节 (https://arxiv.org/html/2608.18222#S6)），并从训练操作器的非正规结构解释ρ控制的成功。

#### 延迟泛化与进展度量。
在小型算法数据集上，泛化可能在训练损失饱和后很久才出现（35 (https://arxiv.org/html/2608.18222#bib.bib34)），泛化电路逐渐形成，在行为发生前可通过隐藏的进展度量追踪（31 (https://arxiv.org/html/2608.18222#bib.bib35); 6 (https://arxiv.org/html/2608.18222#bib.bib37)），并与一个更廉价的记忆电路竞争（41 (https://arxiv.org/html/2608.18222#bib.bib36)）。我们的“算法 vs 覆盖”问题将这种竞争转移到推理映射；第6.2节 (https://arxiv.org/html/2608.18222#S6.SS2) 报告了哪些量在循环推理器中表现得像进展度量。最后，持续同调和拓扑发散（8 (https://arxiv.org/html/2608.18222#bib.bib41); 7 (https://arxiv.org/html/2608.18222#bib.bib42)）探讨潜在轨迹是循环、漂移还是稳定；我们在大规模研究中测试了它的三个假设（第6节 (https://arxiv.org/html/2608.18222#S6)）。

## 3 设置与方法论
### 3.1 问题陈述与我们隔离的维度
权重绑定的推理器是一个迭代映射 \(z_{t+1}=f_{\theta}(z_{t},x)\)，在固定分布的较易实例上训练 \(T_{\mathrm{train}}\) 次迭代。我们问：当测试时迭代预算 \(h_c > T_{\mathrm{train}}\) 时，何时会（i）保持已获得的能力，以及（ii）将其转化为对更难的、分布外实例的准确率？“更难”有两种解读必须区分开来；上述问题仅在一种解读下是明确的。在固定输入尺寸的阶梯上，仅参考算法需要的轮数增加，因此额外迭代正是所要求的资源；而在尺寸/长度阶梯上，成功则取决于操作器对输入尺寸的不变性，这是一个与其动态正交的属性。图1 (https://arxiv.org/html/2608.18222#S3.F1) 在一个任务家族上具体说明了这一区别。因此，所有外推主张都存在于固定输入尺寸的阶梯上；尺寸/长度泛化仅作为范围出现。
图1：“更难”的两种概念，一个任务家族。*左*：更大的图，在训练过的尺寸上表现良好（虚线），但不传递任何能力。*右*：相同尺寸、更深的实例，其中稳定模型能够泛化并达到平台。

### 3.2 任务、难度阶梯、固定数据
三个具有确定性参考轮数的固定输入尺寸阶梯承载了主要实验：
- • 数独：9×9；空洞比例→0.2→0.7，训练层级0.2/0.35/0.5；
- • 可达性：16个节点；精确BFS深度→2→12，可达比例按构造保持不变；
- • 加法：2×32位，交错排列；最长进位链→2→8。
迷宫/排序阶梯探测边界；尺寸/长度阶梯支撑第3.1节 (https://arxiv.org/html/2608.18222#S3.SS1)；ARC-1/2（归纳式，无增强（14 (https://arxiv.org/html/2608.18222#bib.bib24)））仅作为辅助。训练仅使用*简单层级*（轮数远低于 \(T_{\mathrm{train}}\)），每个层级800个唯一未增强示例；评估覆盖整个阶梯（每个层级256个固定样本）；划分仅实现一次，字节级共享；每个配置三个种子。一次运行 == 每个任务×配置×种子一个训练好的检查点（对层级和深度的评估是重复观测；奇偶性作为每个分支的机会水平被排除）。主要聚合指标是第一个未见难度层级上的精确匹配准确率（EM；满足以下正确性规则的完整输出的比例），在训练深度和最佳测试时深度上（表1 (https://arxiv.org/html/2608.18222#S5.T1)）；所有未见层级的平均值更低，且不与之混合。

### 3.3 指标：有效性预言机与精确匹配
具有许多空洞的数独谜题允许多个有效解，因此针对生成器参考解的精确匹配是定义不明确的。我们仅当预测是输入的*有效*完成时才将其评分为正确（有效性预言机），同时也记录参考匹配率em<sub>ref</sub>。一个解计数器量化了定义不明确性：每个层级的唯一可解比例为1.00/0.91/0.50/0.06/0.00；在未见困难数独上，有效/参考差距为5.5倍（0.34 vs. 0.062；第5节 (https://arxiv.org/html/2608.18222#S5) 处理了剩余部分）。聚合指标是每谜题精确匹配（从不按单元格，因为那会具有误导性地饱和）和*解决步数*（解码答案停止变化的首次迭代）；对于可达性和加法，预言机轮数由输入确定，因此自适应性直接针对所需轮数进行检查，不受数独的限制影响。

### 3.4 协议、测试时深度、架构
所有阶梯模型在16个循环步骤下训练，使用深度监督（4个监督展开），AdamW优化器，梯度裁剪0.5，批量大小64，40-80k步（任务依赖），d=256；在评估时，我们扫描测试时深度 \(h_c \in \{3,16,32,64,128\}\)，即“思考更长”的轴（各任务设置见附录）。我们比较的是*机制*，而非检查点。七个架构（TRM风格（23 (https://arxiv.org/html/2608.18222#bib.bib1)），UT/URM（16 (https://arxiv.org/html/2608.18222#bib.bib22)），FPRM（30 (https://arxiv.org/html/2608.18222#bib.bib21)），EqR，DEQ（2 (https://arxiv.org/html/2608.18222#bib.bib13)），Neural GPU（24 (https://arxiv.org/html/2608.18222#bib.bib23)），SE-RRM）在匹配规模和预算下重新实现，并在与每个消融分支相同的数据文件、协议、种子和日志下训练（而非作者的检查点）。唯一一个预训练模型Huginn-3.5B通过前向钩子进行测量（仅测量；第7节 (https://arxiv.org/html/2608.18222#S7)）。

### 3.5 测量工具包
每次运行在训练好的模型上对保留输入记录五类信号：*谱*（步骤雅可比矩阵σ<sub>max</sub>、ρ、Henrici非正规度（21 (https://arxiv.org/html/2608.18222#bib.bib26)）、随机探测增益）；*动态*（通过Benettin QR（11 (https://arxiv.org/html/2608.18222#bib.bib25)）获得的Top-8有限时间Lyapunov谱、σ<sub>eff</sub>=exp(λ<sub>max</sub>)、Kaplan-Yorke维数、固定点残差、稳定比率）；*信息流*（logit透镜对正确答案的排名（10 (https://arxiv.org/html/2608.18222#bib.bib43)））；*拓扑*（Ripser（9 (https://arxiv.org/html/2608.18222#bib.bib27)）：Betti