锚定关键要素：面向视觉基础多模态推理的双层学习框架

# 锚定关键：面向视觉感知多模态推理的双层学习框架  
来源：https://arxiv.org/html/2609.18057  
宋欣欣††注：同等贡献\.  
李思源11footnotemark:1  
单位：清华大学自动化系  
肖廷雄  
单位：清华大学自动化系  
索金丽††注：通讯作者\.  
单位：清华大学自动化系  
单位：清华大学脑与认知科学研究所  

###### 摘要  
带可验证奖励的强化学习（RLVR）已显著提升了大型视觉语言模型（LVLMs）的推理能力。然而，标准策略内RLVR算法在保留和强化视觉锚定推理行为时面临关键优化瓶颈：具有价值的视觉锚定轨迹在单次更新后即被丢弃，而统一的标记优势分配机制使模型无法针对性强化关键感知或推理步骤。为弥合这一差距，我们提出PIVOT——一个以视觉推理信号为锚点的双层学习框架。具体而言，PIVOT引入自校准经验回放机制，选择性收集并回放视觉锚定历史经验，作为策略优化的稳定参考锚点。在此基础上，我们进一步设计视觉引导的优势分配机制，根据标记的局部视觉支撑度及其对下游推理的影响，为其分配额外的视觉感知优势值。在多种基准测试上的大量实验表明，PIVOT在提升LVLMs多模态推理能力方面取得了高度竞争力的性能。

## 1引言  
带可验证奖励的强化学习（RLVR）已成为增强大语言模型推理能力的主流后训练范式（Zhang et al., 2025c）。鉴于其在文本领域的成功，近期研究将RLVR扩展至大型视觉语言模型（LVLMs），并在视觉推理任务中取得了可喜成果（Liu et al., 2025b）。然而，直接将标准RLVR算法应用于LVLMs时暴露出一个关键优化瓶颈：稀疏但信息量丰富的学习信号既未被充分保留，也未被有效利用，导致视觉锚定推理的优化效率低下。具体而言，这种低效体现在两个相互关联的层面：  

在**轨迹层面**，标准策略内RL算法通常在每次更新后丢弃生成的轨迹¹。对于LVLMs而言，由于多模态搜索空间的扩大，获取高质量视觉锚定轨迹并非易事。这些轨迹明确展示了如何将视觉证据锚定为逻辑步骤，包含比稀疏二值奖励更丰富的信息。不加区分地丢弃这些轨迹会造成优化信号的浪费。  

在**标记层面**，统一分配问题进一步稀释了学习信号。基于结果的RLVR算法通常为轨迹内所有标记分配相同的标量优势值。然而，视觉推理链具有高度异质性：某些标记是视觉感知或逻辑分支的关键节点，而其他标记仅是语言填充。对所有标记施加相同的优化强度，阻碍了模型锚定关键感知或推理步骤，导致信息量丰富的标记级信号在整个响应中被稀释。  

为解决上述局限，我们提出PIVOT——一个双层学习框架，在**轨迹和标记两个层面**保留并强化视觉锚定推理的稀疏但信息量丰富的学习信号。具体而言，在轨迹层面，我们引入自校准经验回放机制，构建动态经验池，选择性收集并回放高信息量提示及其高质量视觉锚定历史轨迹。这些轨迹作为回顾性锚点而非直接训练目标，以温和方式约束策略而不抑制探索。超越轨迹层面锚定，我们进一步引入视觉引导的优势分配策略。该机制通过计算采样标记的反事实视觉支撑度并评估其对未来推理的影响，获取细粒度视觉学习信号。随后利用这些信号进行细粒度优势分配，将优化强度集中于更具价值的感知和推理标记上。  

本文方法的主要贡献可总结如下：  
- •我们识别了多模态RLVR中的关键优化瓶颈：具有价值的视觉推理信号在轨迹采样和标记级优化过程中被稀疏化，导致策略难以持续强化视觉锚定推理行为。  
- •我们提出PIVOT——一个统一的双层框架，将高价值视觉推理经验保留为回顾性锚点，并通过细粒度优势调制强化视觉锚定标记上的优化过程。  
- •在不同数据规模和模型规模上的大量实验表明，PIVOT能持续提升多模态推理性能，超越基线方法。

## 2相关工作  
**面向多模态推理的RLVR**  
鉴于RLVR在文本领域的成功，近期研究开始探索其在LVLMs中的应用。从数据角度，Vision-R1（Huang et al., 2026b）和MM-EUREKA（Meng et al., 2025）等方法构建高质量思维链数据集，而NoisyRollout（Liu et al., 2025a）通过数据增强注入感知多样性。在奖励设计方面，Perception-R1（Yu et al., 2025a）为不同视觉任务设计专用奖励机制，Vision-SR1（Li et al., 2026b）分解视觉感知与语言推理以制定自奖励机制。在优化目标上，PAPO（Wang et al., 2026b）引入额外KL损失以提升感知能力。与以往主要通过更强监督信号改进多模态RL的工作不同，我们重新审视优化过程，研究如何在策略学习中更有效地保留和利用高价值视觉推理信号。  

**基于经验的RL**  
经验回放（Lin, 1992）已在经典RL任务中得到广泛研究（Wang et al., 2024）。近期研究将其扩展至大语言模型：例如RLEP（Zhang et al., 2025a）引入“收集-回放”两阶段框架；ReMix（Liang et al., 2026）为离策略训练制定稳定优化目标；ExGRPO（Zhan et al., 2026）基于系统指标分析优先回放高价值轨迹。针对LVLMs，EFRame（Wang et al., 2025a）回放困难提示的成功轨迹，VL-Rethinker（Wang et al., 2025b）通过选择性样本回放缓解优势消失问题。本工作强调经验收集时的视觉感知质量，并将历史经验作为策略更新的参考锚点而非直接优化目标，从而获得更优效果。CalibRL（Huang et al., 2026c）采用了与我们相似的优化目标，但其依赖外部专家示范而非自生成经验。  

**RLVR中的标记优化**  
近期研究揭示了RLVR更新中标记优化信号的异质性和稀疏性（Wang et al., 2025c）。在LVLMs中，先前工作通过反事实输出差异（Ye et al., 2026; Huang et al., 2026a）、隐藏状态相似度（Wang et al., 2026a）或视觉注意力分数（Jiao et al., 2026; Luo et al., 2026）评估标记级视觉依赖性，以强化具有强感知锚定的标记。PEPO（Li et al., 2026a）和ToR（Lu et al., 2026）等方法进一步将其与高熵推理标记结合。基于局部视觉依赖性的反事实支撑，我们进一步构建熵门控的未来视觉支撑以捕获下游影响，实现细粒度优势分配。

## 3预备知识  
### 3.1多模态RLVR  
考虑一个多模态推理问题，其中每个输入**x**由文本查询q和图像I组成，记为**x**=(q,I)。由πθ参数化的LVLM根据πθ(y|**x**)=∏ₜ₌₁ᵀπθ(yₜ|q,I,y₁,...,yₜ₋₁)自回归生成文本响应序列**y**=(y₁,...,yₜ)。给定验证器提供的奖励信号R∈{-1,0,1}，策略梯度更新目标为最大化期望奖励：J(πθ)=E_{**x**~D,y~πθ(.|x)}[R(**x**,**y**) - β·KL(πθ||π_ref)]，其中π_ref为参考策略，KL项防止策略偏离过远。

### 3.2反事实视觉支撑  
为量化标记对图像的依赖程度，我们引入反事实视觉支撑度。给定原始图像I和损坏图像Ĩ（通过随机遮挡或扰动），标记yₜ的视觉支撑度定义为：cₜ=1-πθ(yₜ|q,Ĩ,y₍ₜ₎)/πθ(yₜ|q,I,y₍ₜ₎)，其中y₍ₜ₎表示yₜ之前的标记序列。cₜ值越高表明该标记越依赖图像信息。

## 4方法：PIVOT  
PIVOT通过双层机制（轨迹层经验回放和标记层优势调制）强化视觉锚定推理。

### 4.1自校准经验回放  
我们构建动态经验池E存储高质量视觉锚定轨迹（即R=1的轨迹）。每次训练迭代中：  
1. **轨迹选择**：从E中采样与当前提示x相关的轨迹**y**ᵢᵢₙₜ（基于提示相似度）。  
2. **校准损失**：为防止策略过度偏向历史经验，引入校准损失：  
   ℒₑₓₚ=E_{(**x**,**y**ᵢᵢₙₜ)~E}[max(Δℓᵢ,0)]，其中Δℓᵢ=ℓ(πθ;q,**y**ᵢᵢₙₜ) - ℓ(π_ref;q,**y**ᵢᵢₙₜ)，ℓ为策略对数概率。对于正确轨迹（Rᵢ=1），该项约束策略不会过度优化超过历史锚点；对于错误轨迹（Rᵢ=-1），历史锚点充当动态阈值，惩罚缺陷标记直至其置信度安全低于已验证基线。

### 4.2视觉引导的优势分配  
标准RLVR对轨迹内所有标记广播统一优势值，导致标记级优化信号稀释。我们基于标记视觉效用进行优势调制。

#### 标记视觉效用量化  
首先估算每个生成标记的直接反事实视觉支撑（通过对比原始图像I与损坏图像Ĩ下的模型预测概率），定义为：cₜ=1-πθ(yₜ|q,Ĩ,y₍ₜ₎)/πθ(yₜ|q,I,y₍ₜ₎)。随后计算未来视觉支撑：Fₜ=(Σₖ>ₜ γᵏ⁻ᵗ⁻¹cₖ)/(Σₖ>ₜ γᵏ⁻ᵗ⁻¹)，其中γ∈[0,1]为折扣因子。实践中将求和截断至窗口大小W以消除远距离标记的噪声长尾效应。为避免将未来视觉信用无差别传播至所有前序标记，引入基于熵的门控机制突出推理关键标记。令Hₜ表示标记熵，H̄表示批次平均熵，定义uₜ=1-exp(-Hₜ/H̄)。该门控对高熵位置（更可能是推理决策点）赋予更大权重。最终标记视觉效用为Uₜ=cₜ+λ·Detrend(uₜFₜ)，其中λ平衡局部视觉支撑与未来感知影响，Detrend(·)为标准OLS去趋势算子以消除系统位置偏差。

#### 优势修改  
最终标记视觉效用Uₜ不仅衡量局部视觉支撑，还捕获其对下游视觉推理的影响。利用其修改原始优势Âᵢ,ₜ（轨迹内统一值）：Â'ᵢ,ₜ=Âᵢ,ₜ+β·|Âᵢ,ₜ|·Uₜ，其中β为缩放因子。随后对Â'ᵢ,ₜ应用符号保护操作：Âfinalᵢ,ₜ={max(Â'ᵢ,ₜ,0), 若Rᵢ=1；min(Â'ᵢ,ₜ,0), 若Rᵢ=0}。该操作防止调制反转正负样本的优化方向。本模块所有计算均从梯度图中分离，仅用于调制标量标记优势值。最终使用精炼后的标记优势值计算策略梯度。

### 4.3最终训练目标  
双层学习框架集成至标准策略优化过程。最终优化目标结合RLVR损失（使用修改后优势值Âfinalᵢ,ₜ）与自校准经验损失ℒₑₓₚ：ℒfinal(θ)=ℒRLVR(θ;Âfinalᵢ,ₜ)+λₑₓₚℒₑₓₚ(θ)。该目标不仅保留策略内学习信号，还将策略优化锚定于高质量历史经验和视觉关键标记，提升RLVR中高价值优化信号的利用效率。

## 5实验  
### 5.1实验设置  
#### 模型与基线  
采用Qwen-2.5-VL-3B和Qwen-2.5-VL-7B作为基础模型。为评估数据可扩展性，先在Geometry3K（Lu et al., 2021）数据集上实验，后将训练扩展至更大规模的VIRL39K数据集（Wang et al., 2025b）。在不同模型规模和数据集上复现了GRPO（Shao et al., 2024）、DAPO（Yu et al., 2025b）、PAPO（Wang et al., 2026b）和VPPO（Huang et al., 2026a）算法。

#### 评估  
评估基准包括MathVista（Lu et al., 2024）、MathVerse（Zhang et al., 2025d）、We-Math（Qiao et al., 2025）、MMK12（Meng et al., 2025）和Geometry（Lu et al., 2021）。