VASPO：结合特权价值估计的自蒸馏方法

Hugging Face Daily Papers 论文
reinforcement-learning self-distillation policy-optimization reasoning ppo language-models

摘要

VASPO 将自蒸馏教师与 PPO 中的 critic 结合，通过 token 级优势与有界概率比率改进推理训练，在六个数学推理基准上相比 PPO 显著提升 Qwen3-4B 与 OLMo3-7B 的准确率。

On-policy 自蒸馏通过特权自教师为推理模型提供稠密监督信号。然而，这种监督反映的是局部 token 的偏好，而非无引导学生继续生成时的期望回报。近期方法将该信号与 GRPO 结合，使用 GRPO 确定更新方向，教师用于信号缩放。但我们证明在 PPO 框架内可以实现更有效的融合。具体而言，我们发现两者在位置维度上存在互补动态：特权信息在响应末段能够增强 critic 的价值预测准确性，而自教师的引导在生成初期较强、中期下降、末期回升。这些发现催生了价值增强自蒸馏策略优化（Value-Augmented Self-Distillation Policy Optimization, VASPO），其中自教师与 critic 在学生生成的前缀上评估相同的特权信息。critic 基于预测的延续回报计算 token 级 PPO 优势，而自教师通过有界概率比对选定的正优势进行调制。在六个数学推理基准上，VASPO 在 Qwen3-4B 和 OLMo3-7B 变体上相比 PPO 分别将平均准确率提升 2.59 和 1.81 个百分点，并在 Knights and Knaves 基准上取得所有评估方法中最高的平均准确率。代码开源地址：https://github.com/cii030/VASPO。
查看原文
查看缓存全文

缓存时间: 2026/10/15 14:58

论文页面 - VASPO：基于特权价值估计的自蒸馏方法

来源：https://huggingface.co/papers/2610.20516 发布于 10 月 14 日

·

由 https://huggingface.co/Cii030 提交

Wu Fei (https://huggingface.co/Cii030) 于 10 月 15 日发布

摘要

价值增强自蒸馏策略优化（Value-Augmented Self-Distillation Policy Optimization）在 PPO 中集成自教师（self-teacher）和评论家（critic），通过结合 token 级优势与有界概率比率来提升推理能力，从而提高数学基准测试上的准确率。

在线自蒸馏（https://huggingface.co/papers?q=On-policy%20self-distillation）通过特权自教师（https://huggingface.co/papers?q=self-teacher）为推理模型提供稠密监督。然而，这种监督反映的是局部 token 偏好，而非无引导学生续写过程的期望回报。近期方法将该信号与 GRPO（https://huggingface.co/papers?q=GRPO）相结合，使用 GRPO（https://huggingface.co/papers?q=GRPO）确定更新方向，并利用教师信号进行缩放。然而，我们证明了一种更有效的在 PPO（https://huggingface.co/papers?q=PPO）内的整合方式。具体而言，我们发现了互补的位置动态特性：特权信息（https://huggingface.co/papers?q=privileged%20information）在响应接近结尾时能够增强评论家（https://huggingface.co/papers?q=critic）的价值预测（https://huggingface.co/papers?q=value-prediction）准确率；而自教师（https://huggingface.co/papers?q=self-teacher）的引导在初始阶段较强，在生成中段下降，最终又回升。这些发现促使我们提出了价值增强自蒸馏策略优化（VASPO（https://huggingface.co/papers?q=VASPO）），其中自教师（https://huggingface.co/papers?q=self-teacher）和评论家（https://huggingface.co/papers?q=critic）在学生生成的前缀上对相同的特权信息（https://huggingface.co/papers?q=privileged%20information）进行评估。评论家（https://huggingface.co/papers?q=critic）基于预测的续写回报计算 token 级 PPO（https://huggingface.co/papers?q=PPO）优势值，而自教师（https://huggingface.co/papers?q=self-teacher）通过有界概率比率（https://huggingface.co/papers?q=bounded%20probability%20ratios）对选定的正优势值进行调制。在六个数学推理基准测试中，VASPO（https://huggingface.co/papers?q=VASPO）在 Qwen3-4B 和 OLMo3-7B 变体上分别比 PPO（https://huggingface.co/papers?q=PPO）提高了 2.59 和 1.81 个百分点的平均准确率，并在 Knights and Knaves 上取得了所有评测方法中最高的平均准确率。我们的代码已发布于 https://github.com/cii030/VASPO (https://huggingface.co/papers?q=VASPO)。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20516) 查看 PDF (https://arxiv.org/pdf/2610.20516) GitHub 0 (https://github.com/cii030/VASPO) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.20516)

在你的 agent 中获取此论文：

hf papers read 2610.20516

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.20516 以从此页面链接。

引用此论文的数据集 0

没有数据集关联到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.20516 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 关联到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.20516 以从此页面链接。

包含此论文的收藏夹 0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

TPPO：面向语言模型推理的追踪值 PPO

Hugging Face Daily Papers

该论文提出 Tracking-Value PPO（TPPO），通过在对数几率空间对前缀值进行贝叶斯分解，构建累积值参数化以更好地跟踪语言模型推理中的值演化。TPPO 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上分别比 PPO 提升 7.0 和 8.4 个数学推理分数点，并改善了分布外泛化能力。

带言语正则化的自蒸馏

Hugging Face Daily Papers

论文提出VRSD（言语正则化自蒸馏），通过系统提示调节teacher对特权信息的使用，抑制on-policy自蒸馏中的捷径推理与熵坍缩，在11/12个模型-任务设置上平均提升Pass@1达3.9个百分点。

CEPO：基于对比证据策略优化的RLVR自我蒸馏

Hugging Face Daily Papers

CEPO通过使用来自拒绝轨迹的对比信号来区分关键推理步骤和填充令牌，从而改进了基于可验证奖励的强化学习，在多模态数学推理基准上相比GRPO获得了更高的准确率。

PORA：学习何时加强推理对 LLM 智能体更有价值

arXiv cs.AI

PORA 提出了一种配对结果引导的推理分配方法，让 LLM 智能体学习在何种状态与剩余预算下使用长推理更划算，在 BFCL memory 等任务上大幅提升性能并显著节省 token 与模型请求。