当提示变成像素：面向多模态推理的提示区域对齐

# 提示区域锚定用于多模态推理 来源: https://arxiv.org/html/2608.04726

## 当提示变为像素：面向多模态推理的提示区域锚定

Yongxin Wang1, Ruizhe Zhou2, Yueling Tang2, Yingying Zhu3, Xuemin Zhao3, Xiaojun Chang1,4, Xiaodan Liang1,2

###### 摘要

多模态大语言模型越来越多地需要理解截图和文档，而任务本身可能以像素形式书写。然而，基准测试通常将问题以文本形式呈现，这使得我们不清楚模型是否在不同的通道上以同等水平使用相同的指令。我们引入了可视化任务语义（Visualized Task Semantics, VTS），这是一种受控干预方法，在保持原问题和答案不变的情况下将问题移入图像。在六个 MLLM 和四个基准测试上，所有 24 个模型-任务组合的准确率均出现下降，平均下降 17.8 个百分点。模型往往能够正确转录可视问题，却未能使用它，这暴露了超越 OCR 的语义通道差异。为缩小这一差异，我们提出了提示区域锚定（prompt-region grounding），其核心设计是将问题区域与文本语义对齐，并从掩码视图中恢复其干净表示。在匹配的训练成本下，我们的方法将四个基准上的 VTS 准确率从 58.0 提升到 66.3，同时保持原始界面的准确率，且推理时无需 OCR 或区域元数据。读取承载任务的文本并将其锚定为推理指令，是两种不同的能力。

## 1 引言

视觉文本已成为多模态大语言模型（MLLM）的标准输入。高分辨率模型在读取截图、文档和其他文本丰富图像时的准确率越来越高(Wang et al.2024b (https://arxiv.org/html/2608.04726#bib.bib25); Bai et al.2025b (https://arxiv.org/html/2608.04726#bib.bib4); Wu et al.2024 (https://arxiv.org/html/2608.04726#bib.bib31))。大多数工作将这种文本视为需要提取的证据：一个标签、数值或段落为答案提供内容。而视觉问题具有不同的功能：它决定了如何使用证据以及需要什么样的答案。当问题从提示词元移动到图像像素中时，MLLM 是否保持这种任务定义功能，仍鲜为人知。

标准推理协议使这种功能难以研究。它们将问题置于语言通道中，将图像保留为视觉证据。先前的工作报告了当指令被可视化时性能会下降(Li et al.2024b (https://arxiv.org/html/2608.04726#bib.bib15); An et al.2025 (https://arxiv.org/html/2608.04726#bib.bib1); Liu et al.2026 (https://arxiv.org/html/2608.04726#bib.bib18))，但所测量的差异可能混合了多种效应：画布扩展、图像缩放、渲染错误、缺失的提示内容，以及语义通道本身的变化。模型也可能正确转录视觉问题，却不使用它来控制答案。因此，仅凭准确率下降无法告诉我们模型是未能读取问题还是未能使用问题。

我们用**可视化任务语义**（VTS）来研究这个问题。VTS 是一种配对干预方法，改变问题的呈现位置。给定一个基准条目，其中包含问题 qq、图像 xx 和答案 aa，原始视图（Original）呈现 (q,x)(q,x)。VTS 将 qq 渲染在 xx 上方，并将文本问题替换为一个固定提示词。源问题、视觉证据和目标答案在每个条目内保持配对。VTS 随后增加了针对画布几何、提示重复和缺失任务内容的独立控制。

参见图注 图 1：任务保持不变，但当问题变为像素时答案随之变化。VTS 将问题渲染到图像内部，并用固定提示词替换原生提示。上方示意图为了节省空间省略了该独立提示；下方示例显示了它。源视觉证据和目标答案在每个配对中保持不变。

VTS 揭示了系统性的语义通道差异。在六个 MLLM 和四个基准上，所有 24 个模型-任务组合的准确率均下降，平均下降 17.8 个百分点，最高可达 28.0 个百分点。空白画布控制与原始视图的准确率相差在 1.1 个百分点以内，重复问题控制则相差在 0.6 个百分点以内。从两个通道中同时移除问题会导致准确率崩溃。因此，这种损失不能仅用额外的画布、图像缩放或渲染器损坏来解释。

参见图注 图 2：当问题在图像中时，每个被评估的模型都表现更弱。柱状图显示 MATH-Vision、MathVista、ChartQA 和 MMMU 的平均准确率。同时显示两种界面，因为在性能较低时也可能出现较小的差异。

接下来我们测试剩余的差异是否可以归结为文本识别。在一个双任务诊断中，基础模型精确转录了 87.6% 的视觉问题，但仅正确回答了 48.4%。将同一模型的转录文本重新插入文本通道，使答案准确率提高了 7.7 个百分点，而合成结果保持不变。因此，差异的很大一部分出现在转录之后：模型恢复了词，但这些词作为像素时比作为提示词元时发挥的控制作用更弱。这一发现推动了**提示区域锚定**（prompt-region grounding）。混合界面重放（mixed-interface replay）在两个通道中呈现问题，但并未明确将视觉问题区域与其文本对应部分连接起来。我们的方法增加了两个区域级目标。PVRD-SG 将提示区域与冻结的文本问题表示对齐。PRMLP 掩码该区域的一部分，并恢复其干净裁剪的表示。组件控制测试了该设计的两个部分：提示面板读出优于全图和随机区域摘要，而匹配目标优于不匹配目标。区域框和裁剪仅在训练期间使用。推理时，模型接收一个合成输入并直接回答，无需 OCR 或定位元数据。

参见图注 图 3：提示区域锚定。配对重放使模型暴露于具有相同答案目标的原始视图和 VTS 视图。PVRD-SG 将视觉问题区域与其文本语义连接起来，PRMLP 从掩码提示区域重建干净的潜在目标。GSPO 随后使用可验证的格式和答案奖励继续优化已锚定的检查点。

在匹配的训练成本下，使用 Qwen3-VL-4B 的普通 SFT 在四个基准上达到 58.0 的 VTS 准确率和 69.1 的原始准确率。提示区域锚定将这些分数提高到 66.3 和 70.3，并且每个任务上的 VTS 都有所提升。同样的方法也改善了第二个骨干模型。它还在独立构建的 VISTA-Bench 协议上提升了 4.1 个百分点，在 1,000 张保留的真实世界页面上提升了 7.9 个百分点。

VTS 和提示区域锚定区分了 MLLM 评估中经常被视为相同的两种能力：读取图像中的文本，以及将该文本锚定为任务指令。VTS 在配对问题下衡量这种区别，而区域级目标在不改变推理界面的情况下训练任务使用。结果表明，承载问题的通道可以在措辞和答案保持不变的情况下改变推理。

参见图注 图 4：训练逐步缩小语义通道差异。线条显示四个基准的平均准确率。垂直连接线标记每个阶段的原始视图减去 VTS 的差异：15.8、8.4、4.0 和 1.5 个百分点。

## 2 相关工作

**多模态模型与推理。**高分辨率 MLLM 改善了图像和文档中的感知能力(Wang et al.2024b (https://arxiv.org/html/2608.04726#bib.bib25); Bai et al.2025b (https://arxiv.org/html/2608.04726#bib.bib4); Wu et al.2024 (https://arxiv.org/html/2608.04726#bib.bib31); Li et al.2024a (https://arxiv.org/html/2608.04726#bib.bib14))。其他工作通过后训练或改变图表、问题实例和图像数量来改进多模态推理(Zhu et al.2025 (https://arxiv.org/html/2608.04726#bib.bib39); Kimi Team2025 (https://arxiv.org/html/2608.04726#bib.bib12); Zhang et al.2024 (https://arxiv.org/html/2608.04726#bib.bib34); Zou et al.2025 (https://arxiv.org/html/2608.04726#bib.bib40); Wang et al.2025a (https://arxiv.org/html/2608.04726#bib.bib26))。我们的研究固定源问题不变，并询问训练应如何处理承载问题的界面变化。最近的工作使用过程奖励、对比反思和可验证奖励训练多模态推理(Wang et al.2025b (https://arxiv.org/html/2608.04726#bib.bib27),d (https://arxiv.org/html/2608.04726#bib.bib29); DeepSeek-AI et al.2025 (https://arxiv.org/html/2608.04726#bib.bib7))。我们则相反，在保持答案不变的情况下改变任务出现的位置。我们在监督模型之后应用 GSPO。PVRD-SG 和 PRMLP 的组合是监督方法的贡献；GSPO 是最终的强化学习阶段。

**视觉提示与问题。** VIM 引入了视觉模态指令，衡量了八个基准上的文本到像素差异，并在文本和像素界面上进行训练(Li et al.2024b (https://arxiv.org/html/2608.04726#bib.bib15))。VoQA 将场景和问题置于一张图像中，并在监督微调期间先重建视觉问题再回答(An et al.2025 (https://arxiv.org/html/2608.04726#bib.bib1))。VISTA-Bench 在不同的渲染器和 OCR 系统上比较匹配的文本问题和可视化文本问题(Liu et al.2026 (https://arxiv.org/html/2608.04726#bib.bib18))。这些工作确立了问题本身；我们并不声称将问题移入像素是新的。因此，VIM 风格的混合重放是一个核心基线，而不是被省略的替代方案。VoQA 是最接近的基于重建的方法：它在回答之前生成一个中间问题目标。我们则测试区域级训练是否可以在没有输出侧转录阶段的情况下改善直接回答。VTS 为这种比较提供了源匹配的推理配对。OCRBench v2 和 MMLongBench-Doc 涵盖了更广泛的视觉文本定位和文档布局(Fu et al.2025 (https://arxiv.org/html/2608.04726#bib.bib10); Ma et al.2024 (https://arxiv.org/html/2608.04726#bib.bib20))。VTCBench 研究了压缩为密集图像的长文本的一种相关模态差异(Zhao et al.2025 (https://arxiv.org/html/2608.04726#bib.bib35))。

**对齐与一致性学习。** RegionCLIP 学习了图像区域和文本之间的开放词汇链接(Zhong et al.2022 (https://arxiv.org/html/2608.04726#bib.bib38))。Align-KD 匹配模态以压缩 MLLM，而 Align-TI 使用教师来迁移与指令相关的视觉交互(Feng et al.2025 (https://arxiv.org/html/2608.04726#bib.bib9); Chen et al.2026 (https://arxiv.org/html/2608.04726#bib.bib5))。这些方法并不针对印刷问题，但为跨模态蒸馏提供了密切的先例。掩码表示学习提供了第二个先例。I-JEPA 预测掩码图像区域。BYOL 使用指数移动平均更新停止梯度目标，而 SimSiam 在停止目标梯度时不使用该平均(Assran et al.2023 (https://arxiv.org/html/2608.04726#bib.bib2); Grill et al.2020 (https://arxiv.org/html/2608.04726#bib.bib11); Chen and He2021 (https://arxiv.org/html/2608.04726#bib.bib6))。PRMLP 相反，从提示区域被掩码的合成图像中预测一个分离的干净裁剪表示。所报告的实现使用恒等预测器。

配对重放教授两种界面，但使它们之间的关系保持隐式。提示区域锚定使这种关系成为显式的训练信号。它在 VTS 和真实世界视觉提示示例上增加了两个损失：**带语义锚定的提示-视觉表示蒸馏**（PVRD-SG）将视觉问题区域连接到其文本语义的冻结表示，而**提示区域掩码潜在预测**（PRMLP）将掩码问题区域连接到其干净视觉表示。两个损失共享原始答案目标，并保持推理界面不变。

### 可视化任务语义

设 (qi,xi,ai)(q_i,x_i,a_i) 表示一个问题、其视觉上下文和其规范答案。原始基准视图为

u_orig = concat(q_i,x_i) ... (1)

模型将 q_i 作为语言词元接收，并通过视觉编码器接收 x_i。VTS 将 q_i 移入图像。一个确定性渲染器 render 规范化轻量级 LaTeX，将问题按图像宽度换行，并将其绘制在源图像上方的一个白色面板中：

x~_i = render(q_i,x_i), u_vts = concat(q_min,x~_i) ... (2)

这里 q_min 是固定提示词“Help me solve the problem”。渲染器记录面板框 b_i，并保存干净裁剪 c_i。两个视图使用相同的答案 a_i。VTS 同时改变了问题通道和剩余文本提示。我们使用三个控制来解释这种变化。Canvas 呈现 concat(q_i, render(∅,x_i))：原生问题加上相同填充画布但面板为空。Duplicate 呈现 concat(q_i, render(q_i,x_i))，将问题放入两个通道。Image-only 呈现 concat(q_min, render(∅,x_i))，因此两个通道都没有任务措辞。渲染器模板、源图像位置、解码和评分器保持不变。

受控训练子集仅使用原始视图和 VTS 视图。在监督训练期间，VTS 渲染器提供 b_i 和 c_i；GLM-OCR 管道为真实世界行提供相应的区域和裁剪(Duan et al.2026 (https://arxiv.org/html/2608.04726#bib.bib8))。在 VTS 推理时，模型仅接收图像和 q_min。任何评估都不提供框、裁剪、OCR 转录或其他定位元数据。该方法使用已知区域作为监督，但它不是显式的任务区域检测器。

### 平衡重放

遵循 VIM 的跨界面混合(Li et al.2024b (https://arxiv.org/html/2608.04726#bib.bib15))，受控子集要求每个选定的源条目有一个原始视图和一个 VTS 视图行：

D_pair = {(u_orig,y_i)}_{i∈I} ∪ {(u_vts,y_i)}_{i∈I} ... (3)

完整的监督池为 D_sft = D_pair ∪ D_rw，其中 D_rw 将保留的真实世界图像与其原始提示和提取区域配对。设 I_vis 索引 VTS 和真实世界视觉提示行；每行存储 (q_i,b_i,c_i)。我们在 D_pair 内使用稳定的配对 ID 以及目标和答案哈希来验证一对一的构造。两个视图使用相同的助手目标：

y_i = { s_ans(a_i) if answer-only; s_trace(r_i) ∥ s_ans(a_i) if trace-bearing } ... (4)

这里 r_i 是一个清除问题的推理轨迹，a_i 是规范答案。固定的序列化器添加相应的和标签。完整的训练目标为

L_sft = L_lm(y,D_sft) + λ_region * (L_pvrd(D_vis) + λ_prmlp * L_prmlp(D_vis)) ... (5)

为清楚起见，我们将 PVRD-SG 的蒸馏项写为 L_pvrd，将 PRMLP 的潜在预测项写为 L_prmlp。在实验中，每个 L_* 表示一个批次的平均。两个区域损失只作用于 VTS 行和真实世界视觉提示行，而不作用于原始文本界面行。

**PVRD-SG 目标。** 我们将提示区域表示 z_i 定义为经过 RoI 池化后的补丁嵌入的均值：

z_i = MeanPool(RoI(E_vis(x~_i), b_i)) ... (6)

我们将目标 s_i 定义为冻结文本编码器的规范化池化输出：

s_i = Norm(E_text(q_i)) ... (7)

蒸馏损失为

L_pvrd(D_vis) = (1/|D_vis|) Σ_{i∈D_vis} [1 - (z_i · s_i)/(||z_i|| ||s_i||)] ... (8)

正则化权重为

L_region = ... (9)

其中 L_pvrd 惩罚视觉提示区域与其文本嵌入之间的余弦距离，而 L_prmlp 预测掩码区域的潜在目标。我们冻结文本编码器，以保持与初始化的语言模型嵌入一致。

**PRMLP 目标。** 给定视觉行 i，设 r_i 为区域 b_i 内的干净裁剪，M_i 为掩码该裁剪的多边形模板。合成输入 x'~_i 为

x'~_i = Blend(x~_i, M_i) ... (10)

编码器输出 c_i = E_vis(x'~_i) 的第 i 个区域汇总为

z'_i = MeanPool(RoI(c_i, b_i)) ... (11)

目标为

h_i = StopGrad(MeanPool(E_vis(x~_i), b_i)) ... (12)

其中 E_vis 为完整 VTS 图像的编码器输出。预测头 g 联合预测目标：

L_prmlp = (1/|D_vis|) Σ_{i∈D_vis} ||g(z'_i) - h_i||^2_2 ... (13)

**扩展。** 所有公式使用单个文本目标；在训练期间，我们将提示面板框乘以 ±5% 的随机缩放和 ±10 像素的平移。我们没有使用多个目标，也没有在回归损失中使用时间集成。我们训练一个线性投影头，其输出维度等于编码器隐藏维度，并冻结文本编码器。评估时不使用 g、RoI 框或区域裁剪。VTS 视图中的面板框 b_i 与真实世界行中的 GLM-OCR 输出的对齐方式相同：我们取问题的轴对齐边界框，并在每个方向上扩展 8 个像素。对于真实世界行，如果 OCR 返回多个框，我们取它们的最小包围盒。当面板框偏离渲染问题文本超过 6 个像素时，我们丢弃该行，这占 VTS 行的 0.7% 和真实世界行的 1.9%。

### 强化学习阶段

我们在锚定检查点上应用 GSPO(Wang et al.2025c (https://arxiv.org/html/2608.04726#bib.bib28))。对于每个提示，我们通过温度 1.0 的自回归采样抽取 K 个回答。我们使用一个设计为匹配规范答案格式的提取器。设 e 为提取的答案，a 为规范答案；设 f_1 为格式奖励，当且仅当回答包含正好一组答案标记时为 1，否则为 0。设 f_2 为答案奖励，当且仅当 e 与 a 匹配时为 1。混合奖励为

R(u,y) = 1.0 * f_1 + 1.0 * f_2 ... (14)

我们丢弃两个奖励均为 0 的轨迹。我们使用 Qwen3-VL-4B 上的相同 KL 系数和奖励设置，并使用与 SFT 阶段相同的配对训练集。目标仅在 VTS 和原始视图上计算；真实世界行不参与 RL。该检查点是 SFT 阶段的最佳检查点。

训练超参数。 我们在 8 个 NVIDIA H800 GPU 上训练所有模型。Qwen3-VL-4B 的全局批次大小为 128，步骤为 1500。Qwen2.5-VL-7B 的全局批次大小为 128，步骤为 1600。学习率为 2×10^{-5}，使用余弦衰减。文本编码器为 Qwen3-VL-4B 的语言嵌入。λ_region 为 0.5，λ_prmlp 为 1.0。真实世界池包含 120 万行。在训练期间，每个VTS渲染的源条目与真实世界行按 1:3 的比例混合。

推理和评估。 在评估期间，我们从提示中移除原始问题文本（如果存在），并保留图像。除了可选的系统提示外，VTS 视图使用 q_min，原始视图使用 q_i。我们不向模型提供框、裁剪、OCR 转录或任何其他辅助信息。我们为每个基准使用该基准的官方评估脚本和指标。