DART: 用于算法学习的分布对抗循环训练

# DART：基于分布对抗循环训练的算法学习方法  
来源：https://arxiv.org/html/2609.05988  

Phung Thanh Dang & Pham Quang Nhat Minh  
单位：FPT IS AI研发中心  
地点：越南河内  

Hoang Thanh Tung  
单位：河内工程技术大学  
地点：越南河内  

###### 摘要  

循环推理模型（RRMs）能够解决结构化问题，通过隐藏空间中的迭代计算实现“由易到难”的泛化能力。这类模型通常采用实例级监督进行训练，但随着任务难度提升，该方法问题日益凸显：有效解在解空间中仅占据极小区域，而无效解的数量却呈爆炸式增长。我们提出分布对抗循环训练（DART），该框架以真实解为中心的局部目标分布替代单点监督，并通过对抗目标使模型输出与该分布对齐。DART提供了更丰富的学习信号，引导模型生成更稳定的迭代轨迹以逼近有效解。在迷宫、国际象棋和遮挡数独任务中，我们对多种RRMs（包括深度思考系统和微型递归模型）进行评估，结果表明DART能在所评估的分布偏移下提升解的质量、稳定性和鲁棒性。与标签平滑、高斯软化目标及渐进式训练的对比表明，DART的优势不能仅由目标软化解释，且与稳定长程循环的训练方案具有互补性。这些结果证明DART是提升各类循环推理模型鲁棒性的有效方法。  

## 1 引言  

逻辑推理已成为评估智能系统推理能力的核心基准任务（Chollet, 2019；Chollet et al., 2025）。在大型语言模型研究中，这一目标常通过显式推理和推理时搜索实现。基于LLM的方法表明，通过采样（Brown et al., 2024）、分支（Wei et al., 2022; Yao et al., 2023）和验证（Shao et al., 2025）等方式增加推理时计算量，可显著提升复杂推理任务的性能。这些方法依赖大规模模型生成显式推理轨迹，因而继承了自回归模型的固有局限（Bachmann and Nagarajan, 2025）。  

与此同时，另一条研究路线探索了通过隐藏空间迭代计算实现隐式推理。循环推理模型（RRMs），如微型递归模型（TRM）（Jolicoeur-Martineau, 2025）和分层推理模型（HRM）（Wang et al., 2025），可通过重复应用固定计算模块来解决具有挑战性的逻辑推理任务，实现在测试时有效扩展深度。这些结果表明，推理能力可源于隐藏状态的迭代变换，而无需显式生成中间推理轨迹。然而，这些模型主要在分布内数据集上设计和训练，其在分布外数据上的性能尚未得到系统性研究。  

除逻辑推理和模式匹配外，先前研究（Kaiser and Sutskever, 2016; Graves et al., 2014）表明RRMs可从数据中学习算法并展现出系统性泛化能力。基于这一思路，Schwarzschild等人（2021）提出深度思考系统（DTS），这是一种在相对简单问题实例上训练的RRM，可通过增加循环推理步骤在测试时泛化到更难的问题。¹¹¹ 若一个问题的最短解长于另一个，则认为前者更难。我们可通过增大问题规模或减少问题陈述信息量来创建更难的问题。例如，较大迷宫需要更长的最短路径才能逃出，50%遮挡的数独比30%遮挡的数独需要更多步骤求解。这种被称为“由易到难泛化”的现象表明，具备真正推理能力的模型并非仅在训练分布内进行插值，而是学习了可系统应用于更复杂输入的算法流程。  

尽管取得了这些成果，RRMs通常仍在实例层进行优化：对于每个逻辑输入，模型被训练为匹配单一目标解。这给“由易到难”泛化带来了挑战，因为随着问题复杂度增加，错误解的数量呈爆炸式增长，而有效解集合仍高度受限。因此，正确解在概率空间中的质量相对于庞大的无效解空间变得微乎其微。结果导致循环推理模型在困难输入上常表现出不稳定性能，需要更多迭代次数且仍可能无法收敛到正确解。  

为缓解实例级训练的局限性，我们提出面向推理模型的分布对抗循环训练（DART）。受变分自编码器（VAE）等潜在变量方法（Kingma and Welling, 2022）启发，我们的方法用目标分布替代单点监督，该分布通过训练时注入随机噪声在正确解周围定义邻域。该局部软目标在arg max解码下保留原始解，但不应被解释为枚举多个离散解。相反，它在概率单纯形中扩大了观测解周围的监督邻域，使学习信号比单一one-hot点更稳健。  

为使生成的推理状态与该局部目标分布对齐，我们引入受Wasserstein GANs（WGANs）（Arjovsky et al., 2017）启发的对抗训练目标。推理模型作为生成器产生候选解分布，而判别网络学习区分生成的推理状态与从软目标分布中采样的样本。通过结合监督推理损失与对抗分布对齐，我们的方法不仅鼓励模型产生正确解，还使其保持在目标解的输入条件邻域内，从而提升复杂实例上的解质量和轨迹稳定性。  

DART通常适用于不同RRM架构。我们在深度思考系统（DTS）和微型递归模型（TRM）上对其进行评估。对于DTS，我们考虑两个互补的由易到难推理任务：二维迷宫求解和国际象棋残局。在这些任务中，DART通过提高准确率和生成更稳定的推理迭代性能来改进DTS。遵循Jolicoeur-Martineau（2025）和Wang等人（2025）的研究，我们在数独任务上对TRM评估DART。由于TRM原本在训练和评估中使用固定遮挡水平的困难数独实例进行训练，它并未自然形成由易到难的基准。为研究由易到难泛化，我们改变数独遮挡比例，使用低遮挡比例的谜题训练模型，并在更高遮挡比例的谜题上评估。在此设置下，DART也提升了TRM在更难数独实例上的推理能力。  

总体而言，我们的贡献总结如下：  

- • 据我们所知，我们首次从解空间不平衡的角度分析了由易到难泛化。我们认为实例级训练加剧了这一难题，因为随着复杂度增加，不平衡问题愈发严重。  
- • 我们从分布视角重新构建推理问题的解空间，并提出分布对抗循环训练（DART）以帮助循环推理模型更有效地发现有效解。  
- • 我们展示DART在多种逻辑推理任务上提升了多个RRMs的性能，在推理迭代中实现更稳定的准确率。我们进一步与标签平滑、无判别器的高斯软化目标及渐进式训练基线进行对比，以区分目标软化、对抗对齐和长程稳定化的作用。  

## 2 相关工作  

##### 由易到难泛化与算法学习  

Sun等人（2024）提出一个基本问题：如果模型仅在人类标注数据上训练，它们如何能超越人类水平性能或解决训练期间未见过的更难问题？这一被称为由易到难泛化的挑战，推动了使深度学习模型学习逻辑任务底层算法并泛化到更大更复杂实例的研究。循环神经网络（RNNs）及相关架构特别适合该场景，因为它们能灵活调整计算深度以适应输入复杂度（Gers and Schmidhuber, 2001）。Graves等人（2014）提出图灵机（NTM），模拟经典计算机的关键行为，实现算法归纳。NTM可学习排序和复制等过程，并泛化到比训练时长得多的输入序列。神经GPU（Kaiser and Sutskever, 2016）可学习加法和乘法等算术过程，并泛化到任意长度序列。深度思考系统（Schwarzschild et al., 2021）通过循环块迭代优化中间表示来扩展该方向。原始DTS存在“过度思考”问题，即更多推理迭代反而导致性能下降（Bansal et al., 2022）。为缓解该问题，Bansal等人（2022）引入了可在循环步骤间保留输入信息的recall架构，以及在训练期间让模型接触更长推理历程的渐进式训练目标。后续研究进一步表明，仅渐进损失无法完全保证紧凑DTS模型中稳定的循环性；对于小型隐藏表示，若不通过如Lipschitz控制架构（Bear et al., 2024）等方式直接约束循环动态，过度思考问题仍可能存在。我们在所有DTS实验中使用recall架构作为主干，并在第5节明确与渐进式训练对比。更新的RRMs如微型递归模型（TRM）（Jolicoeur-Martineau, 2025）和分层推理模型（HRM）（Wang et al., 2025）在具有挑战性的逻辑任务上取得了强大性能，同时使用的参数远少于LLMs。HRM采用结合慢思考和快思考的分层架构以捕捉局部细节和全局结构，而TRM通过更少参数简化该设计，并强调模型输出的迭代优化。  

##### 自适应计算与迭代推理  

根据输入复杂度调整计算深度已在自适应计算领域得到广泛研究。Graves（2016）提出自适应计算时间（ACT），使循环模型能在学习到的停止概率达到阈值时终止计算。通用Transformer（Dehghani et al., 2018）和自适应循环视觉（Veerabadran et al., 2023）将此思想应用于多种场景。PonderNet（Banino et al., 2021）改进了ACT的停止机制，并在前缀和等逻辑外推任务上超越ACT。更广泛地说，Bansal等人（2022）、Kaya等人（2018）和Eyzaguirre与Soto（2020）研究了具有可变测试时迭代次数或层数的模型。这些方法与DART互补：它们决定分配多少计算或如何在更长计算周期内训练模型，而DART改变了每个训练样本使用的监督信号。  

##### 对抗引导训练  

对抗训练已广泛应用于生成建模，始于生成对抗网络（GANs）（Goodfellow et al., 2014）及其后续进展如WGAN（Arjovsky et al., 2017）。对抗目标也被用于指导结构化学习。SADM（Yang et al., 2024）允许扩散模型在去噪过程中通过对抗训练和批量级相似度矩阵捕获生成样本间的语义约束。AdvBN（Shu et al., 2020）通过扰动特征统计量而非输入像素来提升鲁棒性。AdvBN生成特征分布（均值和方差）的最坏情况扰动以模拟挑战性风格偏移，并可与现有数据增强技术结合以进一步提升性能。  

##### 我们的贡献与先前工作的区别  

本工作中，我们将由易到难泛化的核心挑战识别为有效与无效解空间的严重不平衡。通过将逻辑推理任务视为生成过程，我们认为对抗引导训练可应用于解决该问题。基于此视角，我们提出DART作为校准和正则化RRMs迭代推理过程的方法。DART不修改循环架构或学习停止策略，而是用局部软目标分布替代单一one-hot目标，并使用输入条件判别器将生成输出与该局部目标邻域对齐。  

## 3 预备知识  

我们考虑逻辑推理任务，目标是从输入问题实例x预测结构化解y。示例包括组合谜题、约束满足问题和算法推理任务。  

深度思考系统（DTSs）（Schwarzschild et al., 2021）区别于经典循环架构，在于其产生整个解的表示并迭代优化该表示。DTSs整体处理输入，通过迭代计算优化解，并学习