使用回放缓冲区重新审视难题 (8分钟阅读)

# NVIDIA-ZPPO: 近端策略优化区域 Source: https://byungkwanlee.github.io/ZPPO-page/ 摘要 ### 准确率提升 \(Δ pp\) 方法**10个LLM基准****16个VLM基准****5个视频基准** Off\-Policy Distill†0\.00\.00\.0 On\-Policy Distill†0\.00\.00\.0 GRPO†0\.00\.00\.0 GRPO†\+ 教师响应0\.00\.00\.0 **ZPPO**\(Ours\)0\.00\.00\.0 †：提示回放缓冲区·所有实验在Qwen3.5上运行 1 / 3Off\-Policy Distill†和On\-Policy Distill† 蒸馏迫使学生模仿教师logits，导致在训练样本上的**记忆**，同时在未见样本上**降低泛化能力**。（对数据集和教师过拟合） 2 / 3GRPO† 强化学习让模型自由回答问题直到解决，鼓励**通过自我反思进行推理探索，例如“等等，这一步看起来不对——让我重新检查一下。”**（不强制模仿任何回答）——**保持泛化能力**。然而，强化学习无法学会解决**rollout准确率接近于零的难题**——它们被**永久丢弃**。 3 / 3GRPO†\+ 教师响应 为了解决难题，一些强化学习方法简单地将教师的响应注入学生——仿佛这是学生自己的响应——破坏了**同策略假设**，**再次降低泛化能力**。 洞察 研究问题 > 对于**难题**，如何在不模仿教师logits或不将教师响应直接注入学生梯度的情况下，将教师的知识转移给学生？如何让学生在不产生**策略漂移**（泛化能力下降）的情况下解决难题？ 方法 技术上，我们使用**回放缓冲区**来存储**难题**，因此模型多次重新访问每个**难题**——不像GRPO那样只访问一次。重复暴露增强了每个**难题**上的BCQ/NCQ效应，我们期望这能提升其**rollout准确率**。 1. **批次**包含新问题、重放问题、**BCQ**和**NCQ**——**学生**在这些问题上进行**强化学习训练**。 结果 一个问题的rollout准确率持续**低于50%**时被接纳进入**回放缓冲区**，一旦准确率达到**50%**，它就**毕业**——离开缓冲区。ZPPO毕业的难题远多于GRPO，且在初始准确率接近**零**时差距最大。 定性分析 ## *BCQ*\+*NCQ*对难题的作用。