程序性记忆蒸馏：面向自我改进语言模型的在线反思

arXiv cs.AI 论文
self-improving language-models distillation reinforcement-learning procedural-memory online-reflection reward-verification

摘要

程序性记忆蒸馏（PMD）将来自强化学习 rollout 的跨回合信号转化为可复用的程序性记忆，并在训练过程中将其蒸馏到策略权重中，从而在推理时无需记忆即可实现自我改进语言模型。实验表明，PMD 在 SCIKNOWEVAL 上比 SDPO 提升 3.8-5.5%，在 LIVECODEBENCH 上提升 7.9-13.6%。

arXiv:2607.01480v1 公告类型：新发布 摘要：基于可验证奖励的强化学习（RLVR）以及近期诸如 SDPO 等自蒸馏变体，每次 rollout 都会针对验证器进行评估，并基于该回合级信号更新策略。然而，rollout 中更丰富的程序性信息很少被保留或再利用。跨回合和跨 epoch 时，模型在变化的策略下反复遇到相关问题，产生回合级局部更新无法捕捉的跨回合信号：哪些策略持续通过验证、哪些失败模式持续存在、哪些模式反复出现。我们提出了程序性记忆蒸馏（PMD），它将这些跨回合信号转化为可复用的程序性记忆，并在训练过程中将其蒸馏到策略权重中。该记忆作为一种训练支架，被吸收到策略本身当中，从而在推理时得到无需记忆的模型。PMD 将记忆组织在三个抽象层级上：原始轨迹、自我反思的策略与经验，以及跨问题重复出现的高阶行为模式——所有这些均从模型自身的轨迹中在线提取。一个基于记忆条件的自教师利用累积的经验来监督其自身的 rollout，使学生能够逐步将程序性知识内化到其参数中。核心设计原则是共同进化：策略生成 rollout 来更新记忆，而记忆则塑造用于更新策略的监督信号。实验表明，在 Qwen3-8B 和 OLMo3-Instruct-7B 上，PMD 在 SCIKNOWEVAL 上比 SDPO 提升 3.8-5.5%，在 LIVECODEBENCH 上提升 7.9-13.6%。共同进化推动了这些提升：冻结记忆或策略中的任何一个，PMD 在 SCIKNOWEVAL 各领域上都会落后超过 10%。
查看原文
查看缓存全文

缓存时间: 2026/07/03 05:44 

# 过程性记忆蒸馏：面向自我改进语言模型的在线反思机制
来源：https://arxiv.org/abs/2607.01480
查看 PDF (https://arxiv.org/pdf/2607.01480)

> **摘要：**基于可验证奖励的强化学习（RLVR）以及最近的自蒸馏变体（如 SDPO），会对每次 rollout 进行验证器评估，并根据该 episode 级别的信号更新策略。然而，rollout 中更丰富的过程性信息却很少被保留或重用。在不同 episode 和 epoch 之间，模型在策略持续变化的情况下反复遇到相关问题，从而产生跨 episode 的信号——哪些策略能持续通过验证、哪些失败模式持续存在、哪些模式反复出现——这些都无法被局部的 episode 更新所捕捉。我们提出过程性记忆蒸馏（Procedural Memory Distillation, PMD），将这类跨 episode 信号转化为可复用的过程性记忆，并在训练过程中将其蒸馏到策略的权重中。该记忆作为训练支架，被策略自身吸收，从而在推理时得到一个无需记忆的模型。PMD 在三个抽象层次组织记忆：原始轨迹、自我反思的策略与经验，以及跨问题反复出现的高层行为模式——所有内容均在线地从模型自身的轨迹中提取。一个记忆条件化的自教师模型借助累积的经验，在学生模型自身 rollout 上进行监督，使学生模型能够逐步将过程性知识内化到其参数中。核心设计原则是**协同进化**：策略生成轨迹以更新记忆，而记忆则塑造监督信号来更新策略。实证中，在 Qwen3-8B 和 OLMo3-Instruct-7B 上，PMD 相比 SDPO 在 SCIKNOWEVAL 上提升 3.8%-5.5%，在 LIVECODEBENCH 上提升 7.9%-13.6%。协同进化驱动了这些提升：冻结记忆或策略都会导致在 SCIKNOWEVAL 各领域上的性能落后 PMD 超过 10%。

## 提交历史

来自：Semih Yavuz [查看邮件 (https://arxiv.org/show-email/9c696e1f/2607.01480)] **\[v1\]**2026年7月1日星期三 21:20:57 UTC（696 KB）

相似文章

OPRD：在策略表示蒸馏

Hugging Face Daily Papers

OPRD提出了一种新的知识蒸馏方法，该方法在策略部署期间跨层对齐学生和教师的隐藏状态，消除了来自词空间KL估计的采样方差。实验表明，OPRD在数学推理基准（AIME 2024/2025、AIMO）上优于输出空间基线，同时速度快1.44倍，内存使用减少54%。

@michalwols: Amazing talk on on policy self distillation on @yacinelearning 's channel

X AI KOLs Timeline

This talk introduces self-distillation methods (SDPO and SDFT) that use model-generated rollouts and rich environment feedback (e.g., compiler errors) to create dense token-level learning signals, achieving 6× faster convergence than GRPO and 11× shorter reasoning traces, while also enabling sequential skill learning without forgetting.

自我审查强化学习（SRRL）：跨回合记忆与策略蒸馏

arXiv cs.LG

本文介绍了一种名为自我审查强化学习（SRRL）的训练框架，该框架在强化学习回合中嵌入自我审查步骤，利用跨回合记忆和选择性策略蒸馏，将稀疏的环境反馈转化为行为改进。在GSM8K上的评估表明，SRRL在Qwen 3-4B和OLMo-3-7B模型上均优于使用GRPO的标准RLVR方法。