自我审查强化学习（SRRL）：跨回合记忆与策略蒸馏

# 跨回合记忆与策略蒸馏的自我回顾强化学习 (SRRL) 来源：https://arxiv.org/html/2607.05541 ###### 摘要 强化学习通常用于利用环境反馈训练大型语言模型。在实际应用中，环境通常提供稀疏或延迟的反馈。这使得模型难以确定其推理中的哪些行为导致了成功或失败。因此，从这些信号中有效学习是困难的，因为模型必须确定每次失败应如何为后续迭代中意义的行为修正提供信息。我们引入了一个训练框架——自我回顾强化学习，它将一个显式的**自我回顾**步骤嵌入到每个RL回合中。当首次生成响应失败时，模型会生成一个**自我回顾**来识别问题所在，从而为改进的第二次尝试创造条件。与推理时反思方法（如Reflexion）不同，该框架使用策略梯度优化自我回顾，并通过**选择性蒸馏**将改进内化到基础策略中，确保这些改进在未来的回合中持续存在。一个**跨回合记忆**机制在训练过程中保留成功的自我回顾，以便在后续回合遇到类似任务时重用。我们使用GRPO优化器，在GSM8K基准上对两个语言模型（Qwen 3-4B和OLMo-3-7B）将SRRL与标准RLVR基线进行了比较。SRRL在最终奖励性能上始终优于RLVR，并通过成功地将反馈转化为行为改进，实现了更高的学习效率。代码仓库：https://github.com/ZainAmin/COMP767-Project 机器学习，ICML ## 1 引言 ![[未标注图像]](https://arxiv.org/html/2607.05541v1/uploads/SRRL.png) 图1：SRRL训练框架 如今，大型语言模型（LLMs）越来越多地被用作决策智能体，面对延迟奖励和不完全知识的情况（Bai and others，2026 (https://arxiv.org/html/2607.05541#bib.bib18)；Song et al.，2026 (https://arxiv.org/html/2607.05541#bib.bib21)；Wang et al.，2025 (https://arxiv.org/html/2607.05541#bib.bib22)；Zhang et al.，2025 (https://arxiv.org/html/2607.05541#bib.bib24)）。强化学习为增强此类智能体提供了一种直观的框架。当模型智能体生成首次响应后，它通常会以结果奖励的形式接收环境反馈。环境反馈是模型从外部世界接收到的、针对其行为的信息或信号。但问题在于，环境通常不针对单个步骤提供反馈，这使得奖励反馈变得延迟且稀疏。因此，模型对于如何选择正确的逐步推理来修正其行为感到困惑，最终导致样本学习效率低下（Shi et al.，2025 (https://arxiv.org/html/2607.05541#bib.bib17)；Zhang et al.，2025 (https://arxiv.org/html/2607.05541#bib.bib24)）。特别是在多步推理中，中间步骤的错误可能导致整个解决方案轨迹和信用分配无效，使模型无法恢复。 

在监督微调（SFT）中，模型的基础策略通过学习模仿人类提供的固定示例进行训练。训练过程中，模型观察提示及其期望响应对，然后调整参数以最小化生成输出与期望输出之间的差异。这种模仿学习使模型在生成之前见过的、高度逼真且结构良好的响应方面变得非常有效。然而，这一优势也带来了根本性问题。SFT应用于静态数据集，模型缺乏内在的机制来修正其行为。在实际应用场景中，SFT无法吸收反馈并从自身错误中学习；相反，它会继续依赖早期编码的训练模式。

基于可验证奖励的强化学习（RLVR）将模型训练带入了交互式环境。RLVR允许模型通过试错方式前进，同时接收外部验证反馈。在RLVR框架中，智能体采取行动，根据成功与否接收标量奖励，并随时间更新策略以增加高奖励结果出现的概率。这一过程超越了模仿学习，使模型能够随着时间的推移通过经验适应和优化其性能。主要限制在于，奖励信号通常仅提供成功或失败的数值指标，而不解释行为为何有效或错误。因此，智能体会继续犯类似的错误，采用次优策略，且没有能跨回合持续存在的稳定修正。为此，必须直接从嘈杂、稀疏或延迟的奖励中推断出智能体所采取正确响应的修正结构。

由此自然的发展方向是对经验本身进行结构化学习，通过将反馈转化为中间推理表征（例如回顾摘要、错误分析和策略更新），这有助于使修正性见解更加直接。通过整合中间学习表征，智能体的学习体验可以可靠地巩固改进，并更准确地调整其行为，而无需完全依赖奖励驱动的探索。

## 2 文献综述

### 2.1 强化学习与大语言模型：通过经验学习的概念已成为大型语言模型发展的核心。早期研究表明，模型基于人类提供的评分和评估来优化输出并对齐行为，这已演变为基于人类反馈的强化学习（RLHF）（Ouyang et al.，2022 (https://arxiv.org/html/2607.05541#bib.bib15)；Christiano et al.，2017 (https://arxiv.org/html/2607.05541#bib.bib14)；Shi et al.，2024 (https://arxiv.org/html/2607.05541#bib.bib16)；Shinn et al.，2023 (https://arxiv.org/html/2607.05541#bib.bib10)）。近期研究已将强化学习扩展到偏好对齐之外，以增强LLMs的数学和符号推理能力。模型不再仅仅依赖人类反馈，而是直接从可编程验证的信号中接收奖励。例如，代码片段可以针对测试用例执行，数学答案可以根据已验证的真实结果进行检查等。这些检查实际上提供了评估推理结果的结构化监督信号。这些策略的关键转变在于用确定性机制过程替代了主观奖励模型（Guo and others，2025 (https://arxiv.org/html/2607.05541#bib.bib19)；Song et al.，2026 (https://arxiv.org/html/2607.05541#bib.bib21)；OpenAI，2024 (https://arxiv.org/html/2607.05541#bib.bib7)）。类似地，面向智能体的LLM研究将模型呈现为交互式策略，以便在外部环境中运行，而不仅仅是生成单一的静态响应。在这种方法中，模型持续采取行动、收集观测和任务相关奖励，以解决多任务推理问题（Yao et al.，2023 (https://arxiv.org/html/2607.05541#bib.bib12)；Jin et al.，2025 (https://arxiv.org/html/2607.05541#bib.bib20)；Bai and others，2026 (https://arxiv.org/html/2607.05541#bib.bib18)）。尽管这些方法各有不同——从偏好对齐到形式化推理再到交互式问题求解——但它们都共享相同的训练范式：环境反馈被简化为一个标量奖励，并通过梯度策略更新进行优化。这一限制要求模型通过反复探索隐式地推断如何纠正错误，而非明确地朝着结构化修正其推理过程的方向进行引导。由于这一限制，我们的SRRL框架从奖励驱动的优化转向这样一个过程：在将反馈内化到基础策略之前，先将其转化为结构化分析和行为修正。

### 2.2 通过试错学习：大量研究表明，AI的下一个扩展时代将更少依赖统计性的人类反馈，而更多依赖智能体的交互，这简化了通过试错学习的过程。通过这种方式，智能体可以通过与环境的持续交互轻松生成丰富的经验数据。Silver和Sutton实验室的一项前沿研究认为，智能体交互产生的数据流，结合长期决策，可以帮助模型超越模仿，采用通过试错学习的机制（Silver and Sutton，2025 (https://arxiv.org/html/2607.05541#bib.bib26)）。这项研究启发了我们采用能够将失败尝试转化为可用学习信号的策略，而不仅仅是依赖成功尝试。早期关于简单强化学习的工作处理了稀疏奖励的挑战。问题在于智能体仅在成功尝试后收到反馈，而通过引入一种也从失败尝试中提取信号的机制得以解决。一项值得注意的贡献是“目标重标记”，如“事后经验重放”（HER）中所提出的（Andrychowicz et al.，2018 (https://arxiv.org/html/2607.05541#bib.bib9)）。在稀疏奖励环境中，智能体可能尝试成功，但如果失败，则不会收到任何奖励，这几乎不提供改进的指导。HER通过将失败尝试的目标重标记为实际达到的结果来解决这个问题。这意味着即使智能体没有达到预期目标，该尝试仍会被重标记为针对另一个达到状态的成功。因此，整个过程通过将失败尝试转化为有用的训练数据，最终提高了样本效率。类似地，在LLM智能体环境中，作者通过允许智能体从自身的交互轨迹中进行训练（即使奖励稀疏或不可用），解决了奖励驱动强化学习与模仿学习之间的空隙。智能体不依赖外部反馈，而是利用其生成的未来状态和决策作为一种形式的自我监督。自我反思在观察次优或失败行为方面也起着重要作用（Zhang et al.，2025 (https://arxiv.org/html/2607.05541#bib.bib24)）。推理时的反思方法表明，LLMs可以通过在产生最终响应之前进行修正来提高其响应质量。作者们普遍认为，所有赋予模型“三思而后行”能力的自我修正技术，都能帮助模型从自身错误中学习并纠正行为，这通常会带来性能提升。但这些方法要求在部署时执行“三思而后行”的步骤。因此，模型必须在推理时访问记忆，这增加了计算成本，并将改进限制在运行时的框架内，而非策略的永久性变化（Zelikman et al.，2022 (https://arxiv.org/html/2607.05541#bib.bib13)；Madaan et al.，2023 (https://arxiv.org/html/2607.05541#bib.bib11)；Shinn et al.，2023 (https://arxiv.org/html/2607.05541#bib.bib10)）。相比之下，并行研究旨在将条件性反馈直接纳入训练过程，而非依赖推理时的自我修正。最近，Hübotter等人（2026 (https://arxiv.org/html/2607.05541#bib.bib6)）和Song等人（2026 (https://arxiv.org/html/2607.05541#bib.bib21)）使用了带文本反馈的强化学习。反馈条件化的教师策略被蒸馏到学生策略中。这不需要在部署时直接提供反馈。通过蒸馏，学生学习模仿教师基于反馈的决策，从而将修正方向内化在其参数中。我们提出的SRRL也与此类工作一致。它将重点放在训练期间的自我回顾上。当首次响应失败时，模型会生成一个结构化的自我回顾，指导同一回合中改进后的重试。所提出的方法将自我回顾视为一个结构化的信用分配任务。通过将自我回顾与跨回合记忆和策略蒸馏相结合，所提出的标准将经验转化为持久的策略改进，而无需在推理时进行自我回顾。

## 3 自我回顾强化学习

自我回顾强化学习是一个训练框架，旨在利用环境反馈进行结构化的行为修正。在标准RLVR中，智能体通常在生成响应后接收一个标量奖励，并随即根据此信号更新其策略参数。RLVR的主要限制在于，奖励没有为智能体提供任何机制来了解哪些中间推理步骤导致了失败或成功。这个问题迫使模型通过反复探索重新发现修正策略，这进一步导致了低效的学习问题。

SRRL通过在每个训练回合中引入一个显式的自我回顾步骤来解决这些问题。该过程由两个支持机制——跨回合记忆和策略蒸馏——锚定，确保通过自我回顾产生的见解在训练过程中积累并持续存在。每个SRRL训练回合经历几个阶段，如图1 (https://arxiv.org/html/2607.05541#S1.F1)所示。给定一个输入问题 $x$，模型 $\pi_{\theta}$ 生成首次响应 $y_{1}$。之后，环境评估 $y_{1}$ 响应，并返回一个标量结果奖励 $r_{1} \in \{0,1\}$ 以及文本反馈 $f_{1}$。如果 $r_{1}$ 低于奖励阈值 $\tau$（即 $r_{1}<\tau$），则模型进入自我回顾阶段，明确分析响应 $y_{1}$ 中出了什么问题，以及可以应用哪些修正策略来纠正或改进响应。基于 $x$、$y_{1}$、$r_{1}$、$f_{1}$，以及从跨回合记忆机制中检索到的任何记忆 $m$，模型生成第二次响应 $y_{2}$。环境评估 $y_{2}$ 并返回 $r_{2}$ 和 $f_{2}$。如果响应 $y_{2}$ 成功（即 $r_{2}>\tau$），则将自我回顾写入跨回合记忆 $m$，回合结束并进行蒸馏更新，训练基础策略仅从 $x$ 直接产生 $y_{2}$ 质量的响应。这消除了后续训练回合中针对类似任务重新发现修正策略的冗余探索问题。

SRRL的设计具有一项关键的部署属性，如下所述：$y \sim \pi_{\theta}(\cdot \mid x)$ 意味着在推理时，模型不需要任何自我回顾、记忆检索或策略蒸馏。训练期间通过SRRL积累的所有改进都被编码到基础策略权重中，这有效地确保了部署时的零延迟。这一因素直接解决了推理时自我反思方法（如Reflexion (Shinn et al., 2023 (https://arxiv.org/html/2607.05541#bib.bib10)) 和 Self-Refine (Madaan et al., 2023 (https://arxiv.org/html/2607.05541#bib.bib11))）的局限性，这些方法要求在部署时进行反思。在SRRL中，自我回顾不是自动触发的。仅当首次响应低于奖励阈值时才激活它。这个条件非常重要，原因有二：首先，通过应用