提示、评论家与教师：视觉-语言数学推理中稀疏奖励强化学习的先验注入

# 面向视觉–语言数学推理的稀疏奖励强化学习先验注入
来源：https://arxiv.org/html/2608.21811
## 提示、评论者与教师：视觉–语言数学推理稀疏奖励强化学习的先验注入

2026年8月

###### 摘要

视觉–语言数学推理的强化学习在稀疏奖励下陷入困境：在一个包含20,830道视觉数学问题的数据池中，Qwen2-VL-2B仅对3.6%的轨迹给出正确答案，85-97%的GRPO轨迹组完全错误且不产生任何梯度。我们在相同条件下训练了十一种方法，每种方法注入不同的先验：文本（参考解答提示）、分布（从7B教师模型进行在策略蒸馏）以及价值（预训练的价值评论家，采用MSE或HL-Gauss分类损失）。先验只有在被**有效传递**时才起作用：六个先验有效到达策略的臂，与其余五个臂——无先验基线以及四个因教师能力限制、被门控排除或因评论家参数错误而损失先验的臂——在综合领域内指标和跨域迁移（DynaMath）上清晰分离且无重叠。然而，核心发现涉及评估：领域内池的某个子集——长期作为本项目的通用分布检验——与真正的跨域迁移**呈负相关**（Spearman ρ=−0.74，n=11个臂，置换检验p=0.011），而最具挑战性的领域内子集则能准确预测迁移能力（ρ=+0.89，p<0.001）。我们将这种反转归因于一个接近随机猜测水平的多项选择题子集，该子集奖励模型不改变原始输出；若剔除该子集，最佳跨域迁移方法看起来平庸，而最差的方法却显得像冠军。在方法层面，提示引导的探索——而非UFT的辅助损失——驱动了提示的收益；将评论家的MSE损失替换为HL-Gauss交叉熵，在领域内准确率上提升了+14.4个百分点。所有准确率均经盲评及配对精确检验。

## 1 引言

群组相对策略优化（GRPO）[1]已成为数学推理强化学习的默认方案，但其存在一个结构性缺陷：优势值是在同一提示的一组轨迹内计算的，因此当一个组的所有轨迹都错误时，梯度贡献恰好为零。当模型极少正确解决问题时，大多数组全错，训练便会停滞。这种情形并非罕见。当我们在Qwen2-VL-2B [2]自身的训练分布——从MathV360K [3]筛选的20,830道视觉数学问题——中最困难的问题上对其进行分析时，基础模型仅对3.6%的轨迹给出正确答案，且85-97%的GRPO组以全错开场。

文献提供了三类补救方案，每类向停滞的策略注入不同的**先验**。**文本先验**在轨迹前添加部分参考解答，使模型从一个更可能成功的状态开始探索 [4, 5]。**分布先验**通过在策略蒸馏，用更强大教师的逐token信号替代或增强奖励 [6, 7]。**价值先验**训练一个评论家，使得即使序列结果单一，信用也能分配到个别token [8]，且近期工作主张评论家的损失应是分类的而非标量回归 [9, 10, 11]。这些类别在不同的论文、模型、任务和预算下分别被研究；据我们所知，它们从未在统一框架下进行过比较，也几乎从未应用于视觉-语言模型。

本文旨在完成该比较。我们构建了一个真正稀疏的训练池（在训练前即验证了GRPO会在此停滞且提示能解锁训练），然后在相同条件下训练了十一个臂——普通GRPO、三种提示变体、四种蒸馏变体、两种评论家变体，以及一个堆叠文本与分布先验的臂：相同的数据池、相同的步数和批次数、相同的种子、每个臂一个8×A800节点。我们报告的所有准确率均由独立的LLM裁判（DeepSeek）[12, 13]盲评，裁判阅读完整输出且不知晓其来源，组间比较采用McNemar精确检验。

方法层面的结果清晰明了。区分各臂的并非设计上是否注入了先验，而是先验是否被**有效传递**：在唯一的训练领域外评估集（DynaMath [14]）上，六个先验明确到达策略的臂准确率为30.6-32.9%，其余五个臂——普通GRPO以及四个因教师能力封顶、被门控排除于失败案例或因评论家参数错误而损失先验的臂——准确率为27.0-29.1%，无重叠。在该主要结论中，比较定位了**哪个**组件带来了收益：提示引导的探索有效，而UFT的辅助对数似然项贡献为零；将评论家的截断MSE损失替换为HL-Gauss交叉熵——一行代码的改动——使领域内准确率提升+14.4个百分点，并将最弱的训练臂转变为第二佳的跨域迁移臂；退火的全局蒸馏有效，而基于失败门控的持续蒸馏无效；且堆叠两个先验并无增益，因为两者都解决相同的早期瓶颈。

然而，重塑本研究的是关于评估而非方法的发现。在本项目的四轮中，一个留出的MathV360K子集（old-319）作为“通用分布”检验，并据此得出结论。当十一个臂在两个领域都被评估，且领域内池被分解为两个子集后，我们终于可以相互关联评估集，而old-319对各臂的排序**反了**：其分数与真正的跨域迁移呈负相关（Spearman ρ=−0.74，n=11个臂），而最具挑战性的领域内子集（sparse-800）则能紧密预测迁移能力（ρ=+0.89）。我们认为其机制是组合性的：old-319中69%是四选一的多项选择题，所有臂都接近25%的猜测底线，因此在那里得高分意味着仍然像基础模型一样输出简短的选项字母。该集合奖励**未发生改变**——这恰恰与能力增益呈负相关。本项目早期的三个结论，包括一个看似存在的专化-泛化权衡，都是该视角的产物；我们在第4节中明确撤回了它们。我们详细报告此事，因为这种失败模式具有普遍性：任何在固定留出子集上追踪泛化能力的项目，若该子集的构成向接近随机猜测水平的子任务漂移，都可能被它误导 [15]。

第三个线索贯穿全文：将验证作为可交付成果。本项目的早期轮次曾因静默评分和移植错误而重写，因此第4轮将每个承载关键机制的模块视为需要在训练前门控并在训练后审计的对象。一次评分审计发现，一个启发式答案提取器对不同的臂施加了不同的惩罚——高达30个百分点——且方向导致了排名的反转；一次对抗分析测试并驳斥了将主要收益归因于猜测或格式奖励的解释 [16]。我们在第6节描述了这一规范，因为没有它，本文中的大多数数字都会以显著性检验无法捕捉的方式出错。

#### 贡献。

- •在相同的计算资源、预算和评判条件下，对十一种训练臂进行受控比较，这些臂涵盖了稀疏奖励强化学习中用于2B视觉-语言模型的文本、分布和价值先验，并验证了稀疏性前提条件（85-97%的全错组）和提示有效性（7.2%→34.4%，使用半解提示）。
- •方法层面的发现：具有有效传递先验的臂在跨域迁移上清晰地与其他臂分离；探索而非辅助目标驱动了提示的增益；仅评论家的损失参数化就值+14.4个百分点（与本发现的一个纯文本版本同期 [11]）；两个先验无法有效组合。
- •评估有效性发现：一个留出的“通用”集反向预测跨域迁移（ρ=−0.74），而最具挑战性的领域内尾部能预测迁移（ρ=+0.89），一种导致反转的机制，以及三个由错误视角产生的早期结论的明确撤回。
- •一个可复用的强化学习比较验证协议——包括盲评LLM裁判、评分审计、训练前硬门控和奖励黑客分析——以及它发现的具体故障。

#### 结构。

第2节介绍了三类先验。第3节描述了数据池构建（包括一个本可能选择格式失败而非难题的测量陷阱）、十一个臂和评判协议。第4节呈现了主要比较和评估集反转。第5节详细说明了七个方法层面的发现。第6节记录了验证规范，第7节陈述了局限性，其中最主要的是单一训练种子。

## 2 相关工作

#### 使用提示的引导探索。

UFT [4]通过轨迹前添加部分参考解答、在训练中将提示比例退火至零、并在RL目标中添加提示token的监督对数似然项，统一了监督和强化微调。提示充当探索脚手架：它将策略置于正确解的邻域内，使奖励变得可及。我们的 **hintonly**、**uft001** 和 **uft002** 臂在此配方上构建于GRPO，并有意将其分解为两个组成部分——提示引导的探索和辅助似然项——以便可以分别归因。

#### 在策略蒸馏。

在策略蒸馏在学生自身的轨迹上进行训练，同时教师对每个token进行评分，将逐token优势设为学生与教师之间的负反向KL [6]。Liao等 2026 [7]通过重放预收集的教师轨迹作为轨迹前缀，并采用步长衰减的长度调度（ReOPD），将其扩展到多轮智能体；我们的 **reopd** 臂将重放机制适配到我们的单轮设置。由于反向KL模仿无法超越其模仿的行为，纯蒸馏训练继承了教师的上限——我们的比较通过将蒸馏臂与可以超越教师的奖励驱动臂并行运行，使这一特性显而易见。

#### 价值函数与评论家参数化。

经典的actor-critic训练将PPO [17]与广义优势估计 [18]配对。VAPO [8]通过价值预训练和解耦的GAE，将基于价值的RL适配于长链思维推理，并采用了DAPO [19]引入的clip-higher技术；我们的 **vapo** 臂遵循此配方。另一条工作线将评论家的标量回归替换为对离散化回报支撑集上的分类：Imani和White 2018 [9]的直方图损失，Farebrother等 2024 [10]证明其能扩展深度RL领域中的价值学习，而Zhou等 2026 [11]将其应用于LLM RL评论家——与我们的工作同期，且在纯文本任务上。我们的 **vapohl** 臂在视觉-语言设置中精确隔离了这一替换。

#### 视觉-语言数学推理的强化学习。

GRPO [1]已成为数学推理的默认策略梯度方法，并可直接迁移到如Qwen2-VL [2]等视觉-语言模型。该设置的训练语料库和基准包括MathV360K [3]和程序生成的DynaMath [14]。几项工作警告不要盲目相信RLVR的收益：仅准确率的奖励无法改善多模态推理的感知部分 [20]，甚至虚假奖励也能提升基准分数 [16]，GRPO的归一化项本身带有偏差 [21]，在全错组中，辅助密集项可能主导梯度 [22]。与我们的提示臂最接近的是，Off-Context GRPO [5]也将轨迹建立在特权信息条件上，但使用重要性加权目标修正由此产生的策略偏移，我们的提示臂并未应用此修正。

#### 评估有效性。

我们报告的所有准确率均经LLM裁判盲评，该协议与人类评分者的一致性已有充分记录 [13]，其故障模式亦然 [23]。在基准方面，Alzahrani等 2024 [15]表明，多项选择基准的表面构成——选项顺序、答案提取格式——可使排行榜排名变动数位：基准看似衡量的指标与其排名的实际驱动因素可能产生分歧。我们的评估有效性发现属于此类但方向更明确——一个在本项目每一轮中用作泛化检验的留出集，其方法排序与真实跨域迁移能力**完全相反**。

## 3 实验设置

### 3.1 背景：三轮诚实的负面结果

本项工作是一项更长调查的第四轮。第1-3轮探讨UFT式的提示引导探索 [4]是否对2B视觉-语言模型在视觉数学上优于普通GRPO [1]，结论——在撤回两个受五个移植保真度bug（其修复使单个臂分数变动高达+9.1个百分点）污染的轮次后——是**UFT与GRPO持平**：在第3轮中，**grp**在留出集上达到33.9%，而两个UFT臂为31.0/32.6%，提示臂无显著优势。早期轮次的机制分析包含了本次研究的种子：奖励从未稀疏到足以使提示发挥作用。GRPO全错轨迹组——在群组归一化优势下梯度贡献为零的组——起始比例为77%，并在训练内降至约30%；提示无物可救。

第4轮检验反事实：**使奖励真正稀疏**。