强化步骤级推理以实现LLM中的有效自我纠正

# 强化逐步推理以实现LLM中的有效自我修正 来源： https://arxiv.org/html/2608.11573 Nhat M\. Hoang 所属机构：新加坡南洋理工大学， Do Xuan Long 所属机构：新加坡国立大学，越南VinUniversity，资讯通信研究院\(IR\)，A\*STAR， \{vuducanh001, hoangmin003, ponhvoan002, anhtuan\.luu\}@ntu\.edu\.sg, xuanlong\.do@u\.nus\.edu, duy\.ntc@vinuni\.edu\.vn Cong\-Duy Nguyen Ponhvoan Srey 所属机构：新加坡南洋理工大学， Luu Anh Tuan 所属机构：新加坡南洋理工大学， ###### 摘要 实现有效的自我修正（即模型验证并纠正自身错误的能力）仍然是大型语言模型（LLM）面临的一个基本挑战。在这项工作中，我们提出了Self\-Fix Step\-DPO（SFS\-DPO），一个基于强化学习的两阶段框架，用于步骤级别的自我验证和自我修正。第一阶段通过步骤级别的偏好优化来强化逐步推理，而第二阶段则明确训练模型进行自我验证和自我修正。我们进一步引入了一个教师辅助变体SFS\-DPO\-R，它将错误验证的解释性理由纳入修正过程，以提供更强的修正信号。跨多个LLM的全面域内和域外评估表明，SFS\-DPO和SFS\-DPO\-R始终优于先前的步骤级训练基线。我们的分析进一步揭示了自我修正频率和有效性方面的改进，凸显了强化逐步推理对于实现稳健性能的重要性。 参见图注 图1：初始化阶段（阶段1）通过偏好正确的延续而非错误的延续来学习局部步骤偏好，而不涉及修正错误。逐步自我修正（阶段2）通过训练显式的自我修正来补充这一点：将错误的步骤修订为优选的延续，然后再继续，从而将步骤级别的偏好转化为有针对性的多步推理改进。 ## 1 引言 尽管前沿大型语言模型（LLM）取得了近期进展，较小的LLM在复杂的数学推理方面仍然面临困难，其中早期错误可能会传播到整个解决方案中16 (https://arxiv.org/html/2608.11573#bib.bib1);8 (https://arxiv.org/html/2608.11573#bib.bib4);4 (https://arxiv.org/html/2608.11573#bib.bib3)。为了提供更局部的学习信号，近期的研究已转向步骤级目标13 (https://arxiv.org/html/2608.11573#bib.bib23);23 (https://arxiv.org/html/2608.11573#bib.bib12);18 (https://arxiv.org/html/2608.11573#bib.bib2)。然而，它们主要优化对更好推理延续的偏好，而没有明确纠正已经生成的错误步骤11 (https://arxiv.org/html/2608.11573#bib.bib7);20 (https://arxiv.org/html/2608.11573#bib.bib8)。 方法 初始化 优化 训练大小 初始/优化 自发错误检测 错误评论 外部教师 SCoRe RL RL 12K/12K ✗ ✗ ✗ ✗ SuperCorrect SFT 步骤RL 100K/10K ✔ ✔ ✔ ✔ LEMMA \- SFT \- /88\.9K ✔ ✔ ✗ ✗ S3C\-MATH \- SFT \- /927K ✔ ✔ ✔ ✔ SPOC SFT RL 860K/\- ✔ ✔ ✔ ✗ S2R SFT RL 3\.1K/10K ✔ ✔ ✔ ✗ SFS\-DPO \(我们的\) 步骤RL 步骤RL 10K/8\.4K ✔ ✔ ✗ ✗ SFS\-DPO\-R \(我们的\) 步骤RL 步骤RL 10K/8\.4K ✔ ✔ ✔ ✔ 表1：LLM中自我修正方法的比较。我们的方法（SFS\-DPO和SFS\-DPO\-R）以显著更少的训练数据实现了有竞争力的能力覆盖。这一局限性催生了*自我修正*这一互补范式，它引入了自我改进循环，使模型能够在推理过程中检测并纠正自身的错误。这也启发了并行研究路线，即训练LLM进行自我修正(11 (https://arxiv.org/html/2608.11573#bib.bib7);27 (https://arxiv.org/html/2608.11573#bib.bib6);31 (https://arxiv.org/html/2608.11573#bib.bib10))。虽然这些方法凸显了自我修正的前景，但它们也引入了优化挑战。具体来说，11 (https://arxiv.org/html/2608.11573#bib.bib7)表明，在修正轨迹上进行监督微调（SFT）容易出现分布偏移和行为崩溃，并提出了基于策略的强化学习（RL）解决方案。为了提高自我修正的稳健性，19 (https://arxiv.org/html/2608.11573#bib.bib13);27 (https://arxiv.org/html/2608.11573#bib.bib6)进一步将优化过程分解为两个阶段：首先，使用精心设计的模板通过SFT训练模型，然后进行第二阶段的RL自我修正。然而，这些初始化策略主要旨在使模型遵循有助于自我修正阶段的特定模板，而不是明确强化步骤级推理。明确强化步骤级推理至关重要，因为逐步自我修正涉及两个具有挑战性的子问题：错误检测和有针对性的修订，而薄弱的步骤级推理可能导致它们的联合学习产生噪声信号和复合错误(2 (https://arxiv.org/html/2608.11573#bib.bib21))。 我们提出了Self\-Fix Step\-DPO（SFS\-DPO），一个通过步骤级强化学习训练LLM进行自我验证和自我修正的两阶段框架。如图1 (https://arxiv.org/html/2608.11573#S0.F1)所示，初始化阶段应用基于RL的步骤级偏好优化来强化逐步推理，而第二阶段（逐步自我修正）通过习得自我修正后的延续与当错误步骤未被解决时产生的延续之间的偏好，来训练模型进行自我修正。我们进一步提出了一个教师辅助变体SFS\-DPO\-R，它为修正增加了解释性理由，以提供更强的修正信号并提高下游准确性。对多个LLM的全面域内和域外评估表明，SFS\-DPO和SFS\-DPO\-R相对于基线产生了一致的提升。我们的贡献有三点： - •我们提出了一个基于RL的步骤级自我修正训练框架，包含两个变体SFS\-DPO和SFS\-DPO\-R，它们改善了步骤级推理并使LLM能够进行有效的自我修正。 - •我们进行了全面的域内和域外实验，证明我们的方法在多个LLM上相对于现有基线实现了一致的改进。 - •我们分析了我们框架中的自我修正行为，为其频率、有效性及其与推理性能的关系提供了实证洞察。 ## 2 相关工作 ### 2\.1 RL用于LLM推理 偏好优化已被广泛用于对齐语言模型以完成推理任务，通常操作在完整解决方案或完整响应的层面(21 (https://arxiv.org/html/2608.11573#bib.bib22))。然而，对于复杂的数学推理，答案级偏好可能较为粗糙，因为错误的解决方案可能与正确的解决方案共享很长的正确前缀，导致信用分配较弱。为了解决这一局限性，近期工作探索了在单个推理步骤层面上的学习信号(3 (https://arxiv.org/html/2608.11573#bib.bib20);13 (https://arxiv.org/html/2608.11573#bib.bib23);23 (https://arxiv.org/html/2608.11573#bib.bib12);16 (https://arxiv.org/html/2608.11573#bib.bib1);10 (https://arxiv.org/html/2608.11573#bib.bib14);12 (https://arxiv.org/html/2608.11573#bib.bib5))。值得注意的是，Step\-DPO(13 (https://arxiv.org/html/2608.11573#bib.bib23))基于正确的前缀，对下一步延续进行偏好比较，明确针对推理轨迹中的第一个错误步骤，并在不需要显式步骤级标签的情况下提供局部监督。此外，过程监督(16 (https://arxiv.org/html/2608.11573#bib.bib1))表明，通过显式正确性判断来监督中间推理步骤，可以实现更精确的信用分配，从而显著改善数学推理。我们的工作在此基础上，将步骤级偏好优化作为学习逐步自我修正的第一个训练阶段。 ### 2\.2 教LLM进行自我修正 自我修正是提升大型语言模型可靠性的关键能力。因此，越来越多的研究致力于使LLM能够修正自身推理错误(11 (https://arxiv.org/html/2608.11573#bib.bib7);27 (https://arxiv.org/html/2608.11573#bib.bib6);30 (https://arxiv.org/html/2608.11573#bib.bib9);31 (https://arxiv.org/html/2608.11573#bib.bib10))，见表1 (https://arxiv.org/html/2608.11573#S1.T1)。值得注意的是，SCoRe(11 (https://arxiv.org/html/2608.11573#bib.bib7))通过在自生成数据上进行多轮在线策略强化学习来学习内在的自我修正，并强调离线修正训练的分布偏移和行为崩溃局限性。SuperCorrect(27 (https://arxiv.org/html/2608.11573#bib.bib6))提出了一个两阶段的师生框架，首先在分层思维模板上进行监督微调来初始化模型，然后应用使用教师提供的修正轨迹的偏好优化。S3C\-MATH(24 (https://arxiv.org/html/2608.11573#bib.bib11))通过将错误步骤插入正确的解决方案轨迹中，并监督模型在生成过程中检测和修复这些错误来训练步骤级自我修正。SPOC(31 (https://arxiv.org/html/2608.11573#bib.bib10))通过在推理时交替进行解决方案生成和验证，并使用强化学习，来诱导自发的自我修正。S2R(19 (https://arxiv.org/html/2608.11573#bib.bib13))结合了监督初始化和结果级及过程级强化学习，以训练能够自我验证并迭代精化其推理的模型。相比之下，我们的工作通过一个基于RL的逐步偏好优化阶段来初始化步骤级自我修正，我们经验性地发现，这比从零开始或使用监督微调能产生更稳健的下游自我修正。 ## 3 方法论 ##### 任务定义。我们将语言模型推理中的自我修正形式化为生成一个多步轨迹，并带有显式的错误检测和修复。给定一个输入问题xx，语言模型πθ\\pi\_\{\\theta\}生成一个推理轨迹 \{sj\}j=1M=\(s1,...,sM,y^\)，其中每个步骤sjs\_\{j\}是以自回归方式生成的，即sj∼πθ\(⋅∣x,s\< ... 。（此处有一大段被截断的内容，涉及具体的公式和示例，我们继续翻译后面的内容。） SFS\-DPO\-R... 步骤2：将小时转换为分钟也是正确的。确实是20小时。步骤3：计算清洁所占一天时间的百分比是不正确的。我们应该将清洁时间（20小时）除以总工作时间（8小时），然后乘以100得到百分比。正确的计算是(20/8)∗100=250%。错误出在最后一步。我们不应该在除法后乘以100。正确的计算应为(20/8)∗100=250%。但这不合理，因为百分比不能超过100%。错误出在最后一步。我们不应该在除法后乘以100。错误出在总工作时间的计算上。管理员每天工作8小时，但他们有5天时间清洁教室。所以总工作时间应为8小时/天*5天=40小时。现在让我们纠正计算。步骤3：正确计算清洁所占一天时间的百分比应为(20/40)∗100=50%。所以，平均而言，管理员将50%的一天时间用于清洁教室。答案是：50 表5：Qwen2\-7B\-SFT和Qwen2\-7B\-SFT\-SFS\-DPO\-R之间的定性推理对比。 ### 5\.3 自我修正率 我们研究了自我修正（SC）率在模型性能中的作用。如图2 (https://arxiv.org/html/2608.11573#S4.F2)所示，SC率与整体性能呈正相关，表明我们框架的自我修正能力在提高推理准确性方面发挥着重要作用。然而，高SC率并不一定转化为更好的准确性。在MATH和GSM8K中，一些自我修正方法获得了高SC率，但最终任务准确率仍然较低（表3 (https://arxiv.org/html/2608.11573#S5.T3)），这表明过度的自我修正可能反映的是被迫的修正行为，而非有效的推理改进。相比之下，我们的方法尽管SC率较低，却实现了更强的整体性能，这表明我们的框架学会了更有选择性和更有效地应用自我修正。我们的方法不是最大化修正频率，而是鼓励模型主要在更困难、原始推理可能失败的示例上进行自我修正。这表明有效的自我修正不仅需要知道如何自我修正，还需要知道何时不应自我修正。总体而言，这些发现表明，仅靠SC率不足以作为自我修正质量的独立指标。最终重要的在于，自我修正行为是否与任务性能正向对齐，使修订强化正确推理，而不是引入不必要或虚假的更改。 ### 5\.4 自我修正行为 图3 (https://arxiv.org/html/2608.11573#S4.F3)和图4 (https://arxiv.org/html/2608.11573#S5.F4)展示了模型在GSM8K和MATH上展现的自我修正行为的详细分析。图3 (https://arxiv.org/html/2608.11573#S4.F3)分析了在存在自我修正信号的情况下，解决方案中自我修正步骤总数的分布。它表明，大多数解决方案只包含少数几个自我修正步骤，其中单次修正的情况最常见，随着修正次数的增加，频率降低。超过三次修正的情况相对少见，这表明模型并不依赖重复或被迫的修订。图4 (https://arxiv.org/html/2608.11573#S5.F4)进一步表明，自我修正事件大致遵循推理长度的分布，而不是集中在特定位置，这表明自我修正行为对特定推理阶段没有强烈的位置偏差。总体而言，这些结果表明SFS\-DPO\-R鼓励在多步推理过程中表现出稳定且有针对性的自我修正行为，为学习何时有效且有选择性地自我修正奠定了基础。 ### 5\.5 案例研究 如表5 (https://arxiv.org/html/2608.11573#S5.T5)所示，基础Qwen2\-7B\-SFT模型在计算中出错，并重复生成错误的推理，而没有有效解决该错误。相比之下，SFS\-DPO\-R使模型能够检测到错误的推理步骤，定位解决方案中间的计算错误，并显式推理出错误的来源。额外的定性示例见表13 (https://arxiv.org/html/2608.11573#A4.T13)。 ## 6 结论 在这项工作中，我们提出了SFS\-DPO，一个使小型LLM能够在推理过程中显式检测和纠正错误推理步骤的两阶段框架。该框架建立在步骤级偏好优化之上，通过基于RL的初始化来强化逐步推理，然后进行针对性的自我修正训练。我们进一步引入了SFS\-DPO\-R，一个教师辅助变体，它结合了解释性理由