能量引导递归模型

# 能量引导递归模型
来源：https://arxiv.org/html/2607.10128
Yifei Zhao¹, Ying Tang¹,²,³,⁴

¹电子科技大学基础与前沿科学研究所，成都 611731，中国  
²电子科技大学物理学院，成都 611731，中国  
³电子科技大学教育部量子物理与光子量子信息重点实验室，成都 611731，中国  
⁴四川省非经典信息科学基础学科研究中心，电子科技大学，成都 611731，中国

###### 摘要

递归推理模型通过重复更新小型神经网络的潜状态来解决结构化问题。然而，其测试时缩放缺乏有原则的推理机制：增加深度或随机广度会生成更多轨迹，但没有明确的选择标准，现有方法主要依赖额外的 q-head 或启发式投票。本文开发了**能量引导递归模型 (ERM)**，该模型引入了基于显式 Hopfield 能量的内在选择原则。ERM 利用有效局部或全局结构的 Hopfield 型记忆来定义候选轨迹的选择器。由此产生的能量能够自然地与并行退火等基于能量的技术结合，以提高采样效率和排序。在 `D=64` 次递归步骤和 `K=128` 个候选的情况下，ERM 在数独 (98.97%)、Pencil Puzzle Bench (PPBench, 88.04%) 和迷宫 (99.30%) 上达到了最优解，优于近期提出的 Probabilistic Tiny Recursive Model 和 Equilibrium Reasoners。这些结果表明，将显式能量函数纳入递归推理为更有效的推理提供了一条有原则的途径。

## 1 引言

测试时计算现已成为实现更强推理的核心途径，但其成功取决于如何将额外计算转化为最终答案。对于自回归语言模型，这种转化通常是显式的：额外的计算预算会产生更长的思维链、多个采样的推理依据、树形结构搜索或经过验证器排序的补全 [Wei et al., 2022 (https://arxiv.org/html/2607.10128#bib.bib28); Wang et al., 2023 (https://arxiv.org/html/2607.10128#bib.bib29); Yao et al., 2023 (https://arxiv.org/html/2607.10128#bib.bib30); Cobbe et al., 2021 (https://arxiv.org/html/2607.10128#bib.bib31); Lightman et al., 2024 (https://arxiv.org/html/2607.10128#bib.bib32); Snell et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib33)]。这些方法表明，推理时的工作可以部分替代模型规模的扩大，但它们也依赖于可观察的文本或学到的奖励模型，这些模型的分数可能与产生答案的隐藏计算相分离。潜迭代推理器使得这个问题更加困难，因为额外的深度或广度产生的是隐藏轨迹而非显式推导。因此，开放性问题不仅是如何生成更多轨迹，更是当没有显式推导或外部验证器可用时，应该信任哪条轨迹。

循环模型通过在前向计算中复用一个共享的已学习算子，为潜测试时推理提供了架构基础。这一思想出现在早期的算法学习系统和自适应深度网络中，包括 Neural GPU [Kaiser and Sutskever, 2016 (https://arxiv.org/html/2607.10128#bib.bib16)]、自适应计算时间 [Graves, 2016 (https://arxiv.org/html/2607.10128#bib.bib17)]、Universal Transformers [Dehghani et al., 2019 (https://arxiv.org/html/2607.10128#bib.bib18)]、隐式模型 [Geng et al., 2021 (https://arxiv.org/html/2607.10128#bib.bib20)] 和深度平衡模型 [Bai et al., 2019 (https://arxiv.org/html/2607.10128#bib.bib19)]。近期的循环和递归深度 Transformer [Giannou et al., 2023 (https://arxiv.org/html/2607.10128#bib.bib21); Yang et al., 2024 (https://arxiv.org/html/2607.10128#bib.bib22); Saunshi et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib23)] 表明，重复的共享模块可以作为迭代算法、潜思维或计算可扩展的语言模型组件发挥作用 [Geiping et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib24); Schöne et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib25); Bae et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib26); Zhu et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib27)]。结构化推理模型如 Hierarchical Reasoning Model (HRM) [Wang et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib12)]、Tiny Recursive Model (TRM) [Jolicoeur-Martineau, 2025 (https://arxiv.org/html/2607.10128#bib.bib11)]、Equilibrium Reasoners (EqR) [Huang et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib15)] 和 Probabilistic Tiny Recursive Model (PTRM) [Sghaier et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib10)] 进一步表明，紧凑的循环网络可以通过重复细化潜状态来解决数独、迷宫、ARC 风格任务及相关算法基准问题。对 HRM 的机制分析还表明，递归轨迹可能被虚假不动点捕获，这使得随机候选之间的选择成为推理问题本身的一部分，而非次要的实现细节 [Ren and Liu, 2026 (https://arxiv.org/html/2607.10128#bib.bib13)]。这些工作确立了递归深度和随机广度作为有用的计算维度，但它们留下了持久的选择差距：隐藏轨迹通常仍通过学习的停止头、令牌置信度、残差或投票规则来缩减，而非通过任务兼容性的显式标准。

基于能量的建模为这个缺失的选择层提供了一种有原则的语言，因为它将计算表示为配置上的标量兼容性。经典的 Hopfield 网络 [Hopfield, 1982 (https://arxiv.org/html/2607.10128#bib.bib4)]、玻尔兹曼机 [Ackley et al., 1985 (https://arxiv.org/html/2607.10128#bib.bib5)] 和基于能量的学习 [LeCun et al., 2006 (https://arxiv.org/html/2607.10128#bib.bib6)] 通过低能量状态定义推理，而密集和现代 Hopfield 网络将关联检索与高容量记忆和类似注意力的更新联系起来 [Krotov and Hopfield, 2016 (https://arxiv.org/html/2607.10128#bib.bib34); Ramsauer et al., 2021 (https://arxiv.org/html/2607.10128#bib.bib8)]。Energy Transformer (ET) 通过设计基于注意力的能量下降的表示更新，使这种联系更加明确 [Hoover et al., 2023 (https://arxiv.org/html/2607.10128#bib.bib9)]。然而，这些文献大多将能量附着于模型训练、表示动力学或记忆检索，而递归推理器在测试时需要一个关于解码后候选解的能量。这种区别很重要，因为 q-head、置信度分数或多数统计量只衡量候选质量的某个投影，即使正确的候选存在于生成池中，也可能遗漏全局任务约束。

图 1：潜迭代推理的能量引导递归模型。 (a) 经典的 TRM 风格递归推理器，如 PTRM [Sghaier et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib10)] 和 EqR [Huang et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib15)]，使用深度 `D` 和广度 `K` 生成候选轨迹，然后通过 q-head 或多数投票进行选择。 (b) ERM 通过构建基于 Hopfield 网络的任务结构化记忆能量来替代此选择器，并选择能量最低的候选。 (c) 能量提供最终排序并支持并行退火 (PT)，将选择与能量引导采样联系起来。底部显示了各种模型在三个代表性推理任务上的性能，其中 ERM 达到了 oracle 水平，即当任何生成的候选正确时可能的最佳准确率。

我们引入了**能量引导递归模型 (ERM)**，该模型利用显式构建的基于 Hopfield 网络的能量来促进推理轨迹的选择。图 1 (https://arxiv.org/html/2607.10128#S1.F1) 说明了主要设置：一个 EqR 风格的推理器首先通过递归计算生成 `K` 个候选输出，然后 ERM 利用有效任务结构的记忆对这些候选进行排序。记忆库随任务变化：数独使用行、列和宫置换记忆；Pencil Puzzle Bench (PPBench) 使用局部谜题规则记忆加上全局距离势能 [Waugh, 2026 (https://arxiv.org/html/2607.10128#bib.bib14)]；迷宫在报告的全局记忆运行中使用基于输入条件的最短路径记忆。在数独、PPBench 和迷宫任务上，ERM 在相同的 `D=64`、`K=128` 生成预算下达到了共享候选 oracle 水平，并且其能量还可以指导并行退火。因此，其贡献既是方法论的也是诊断性的：递归推理器中的测试时计算应通过将候选生成与基于能量的选择分离来评估，并且当正确轨迹已可用时，显式能量可以弥补选择差距。

## 2 相关工作

潜迭代推理模型使用递归计算来解决浅层前馈预测器难以处理的结构化问题。Hierarchical Reasoning Model (HRM) 和 Tiny Recursive Model (TRM) 表明，紧凑的循环架构可以用远比大型自回归模型少的参数来解决数独、迷宫和抽象推理语料库 (ARC) 风格的任务 [Wang et al., 2025 (https://arxiv.org/html/2607.10128#bib.bib12); Jolicoeur-Martineau, 2025 (https://arxiv.org/html/2607.10128#bib.bib11)]。EqR 将推理视为向已学习吸引子的收敛过程，而概率递归模型则强调隐状态的随机探索 [Huang et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib15); Sghaier et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib10)]。这一研究方向与自回归模型的测试时扩展互补：系统不是采样许多文本推导，而是采样或迭代隐配置，然后解码出结构化答案。我们关注的是，当这样的推理器已经产生多个候选时，决定应该信任哪条轨迹的推理层。

基于能量的模型和 Hopfield 网络为分配标量兼容性给配置提供了长期的形式化框架。经典 Hopfield 网络使用能量景观，其最小值对应存储的记忆 [Hopfield, 1982 (https://arxiv.org/html/2607.10128#bib.bib4)]；玻尔兹曼机和基于能量的学习将此原则推广到概率和判别设置 [Ackley et al., 1985 (https://arxiv.org/html/2607.10128#bib.bib5); LeCun et al., 2006 (https://arxiv.org/html/2607.10128#bib.bib6)]。现代 Hopfield 网络表明，类似注意力的检索可以解释为对指数级数量模式的关联记忆 [Ramsauer et al., 2021 (https://arxiv.org/html/2607.10128#bib.bib8)]，而 Energy Transformer 则提供了一个由显式能量下降组织的表示更新的当代示例 [Hoover et al., 2023 (https://arxiv.org/html/2607.10128#bib.bib9)]。我们借鉴了记忆-能量解释，但我们的能量附着于测试时的候选选择和采样，而非新架构的完整训练目标。

验证器和重排序方法在精神上是接近的，但在优化目标上有所不同。置信度选择器偏好局部概率高的候选，q-head 选择器使用学习到的可靠性信号，多数投票偏好采样输出间的共识。当正确性与局部确定性相关时，这些信号可能表现良好，并且 PTRM 表明 q-head 可以在几个递归推理基准上成为有效的验证器 [Sghaier et al., 2026 (https://arxiv.org/html/2607.10128#bib.bib10)]。然而，同一篇论文也暴露了在迷宫类任务上验证器存在差距，`pass@K` 的提升速度快于 q-head 选择，而这正是我们能量设计所要针对的差距。ERM 将任务约束转化为显式的记忆集或记忆距离势能，因此选择器可以衡量与结构化规则的兼容性，而非仅依赖模型内部的不确定性。

## 3 方法

### 3.1 问题设置

我们将测试时推理研究为有限候选池上的基于能量的选择。令 `x` 表示输入谜题，令一个具有递归深度 `D` 的潜迭代推理器通过独立展开、扰动或并行退火链生成 `K` 个候选输出 `Y(x) = {y_1, ..., y_K}`。候选 `y_k` 是一个在位置 `i ∈ {1, ..., N}` 上的结构化离散分配。选择器为每个候选分配一个标量能量 `E(y_k; x)`，其中能量越低表示与任务的兼容性越高。选中的答案是

`ŷ = y_k̂,   k̂ = arg min_{k ∈ {1,...,K}} E(y_k; x)`				(1)

该公式也将常见的基线方法定义为能量：置信度使用负的平均令牌置信度，q-head 使用负的学习停止对数几率，多数投票使用负的一致性分数。区别在于 ERM 从任务记忆中构建 `E`，而非仅仅从模型内部的不确定性中构建。

### 3.2 能量引导递归模型

ERM 源自现代 Hopfield 网络的基于能量的记忆检索观点。在现代 Hopfield 网络中，查询状态 `q` 与记忆集 `M` 进行比较，当 `q` 与至少一个存储的记忆相似时，检索会降低能量 [Ramsauer et al., 2021 (https://arxiv.org/html/2607.10128#bib.bib8)]。这种检索能量的紧凑形式是

`E_MHN(q; M) = ½||q||² - τ log Σ_{m ∈ M} exp( sim(q,m) / τ )`				(2)

其中 `sim(q,m)` 是查询与记忆之间的相似度，`τ` 是检索温度，平方范数项用于正则化连续查询状态。我们进行选择所需的部分是 log-sum-exp 记忆项：它软性地检索最接近的兼容记忆，并且随着 `τ` 减小，它趋近于最近记忆检索。

ERM 将相同的 Hopfield 检索能量转化为候选解上的任务结构化选择器。一个任务被分解为 `J` 个因子，例如数独的行、PPBench 的线索邻域或迷宫的路径约束。因子 `j` 拥有一个基于输入条件的记忆集 `M_j(x)`，每个记忆 `m ∈ M_j(x)` 代表一个有效的局部或全局结构。我们将现代 Hopfield 相似度替换为负的记忆距离 `-β d_j(y_k, m)`，将检索能量在所有任务因子上求和，并添加一个全局违规惩罚项 `G(y_k, x)` 来处理不易局部列举的规则：

`E_ERM(y_k; x) = μ G(y_k, x) - Σ_{j=1}^J τ log Σ_{m ∈ M_j(x)} exp( -β d_j(y_k,m) / τ )`				(3)

其中 `d_j(y_k, m)` 在候选与因子 `j` 上的记忆 `m` 匹配时为零，并且随着候选违反该记忆而增加；`β` 控制记忆距离的惩罚强度；`τ` 保持与 Hopfield 检索温度相同的作用；`G(y_k, x)` 是全局规则违规分数；而 `μ`