论文页面 - ETCHR：通过编辑来阐明和利用推理

来源：https://huggingface.co/papers/2605.23897

摘要

本文提出了一种名为 ETCHR 的新型图像编辑方法，它将视觉推理与图像生成解耦，通过两阶段训练过程提升多模态语言模型在多个视觉推理任务上的性能。

多模态大语言模型（Multimodal Large Language Models）在视觉推理（visual reasoning）方面取得了进展，但对于需要细粒度关注或视角变换的问题，纯文本的思维链（chain of thought）仍然是一个瓶颈。“用图像思考（think with images）“范式缩小了这一差距，但现有方法要么受限于固定的预定义工具包，要么因统一的多模态方法而产生噪声的中间图像。我们探索了第三种方案：使用专用的图像编辑模型（image editing model），并将其与理解模型解耦。然而，现成的图像编辑器作为推理助手存在两个互补的不足：语言侧的不足——训练为被动指令跟随者的编辑器无法将抽象问题映射到适当的视觉变换；以及生成侧的不足——随着推理深度的增加，编辑正确性会下降。基于这一分析，我们引入了 ETCHR（Editing To Clarify and Harness Reasoning，即通过编辑来阐明和利用推理），这是一种面向问题、具备推理意识的图像编辑器（reasoning-aware image editor），与下游理解模型解耦，并通过针对这两个不足的两阶段训练策略进行训练：首先是基于编辑轨迹的监督微调进行推理模仿（Reasoning Imitation），随后利用来自 VLM 的奖励信号（VLM-derived rewards）进行推理增强（Reasoning Enhancement），以兼顾编辑正确性和下游推理准确性。由于编辑器是解耦的，ETCHR 可以以无需训练的方式接入不同的开源和闭源 MLLM。在五类任务（细粒度感知、图表理解、逻辑推理、拼图复原和 3D 理解）中，ETCHR 将平均 Pass@1 分别从 55.95 提升至 60.77（+4.82，配合 Qwen3-VL-8B），从 65.08 提升至 70.55（+5.47，配合 Gemini-3.1-Flash-Lite），以及从 76.55 提升至 81.16（+4.61，配合 1T 参数的 MoE 模型 Kimi K2.5）。

查看 arXiv 页面（https://arxiv.org/abs/2605.23897）
查看 PDF（https://arxiv.org/pdf/2605.23897）
GitHub（6）(https://github.com/InternLM/ETCHR)
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.23897）

在您的 agent 中获取此论文：

hf papers read 2605.23897

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型（0）

暂无与此论文关联的模型

请在模型 README.md 中引用 arxiv.org/abs/2605.23897 以在此页面建立链接。

引用此论文的数据集（0）

暂无与此论文关联的数据集

请在数据集 README.md 中引用 arxiv.org/abs/2605.23897 以在此页面建立链接。

引用此论文的 Spaces（0）

暂无与此论文关联的 Space

请在 Space README.md 中引用 arxiv.org/abs/2605.23897 以在此页面建立链接。

包含此论文的收藏（0）

暂无包含此论文的收藏

请将此论文添加到一个收藏（https://huggingface.co/new-collection）中以在此页面建立链接。