论文页面 - 推理引导的视觉编辑

来源：https://huggingface.co/papers/2610.12343 发布于 10月8日

·

提交者https://huggingface.co/zpy777

zpy (https://huggingface.co/zpy777) 于 10月9日发布

作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

大型多模态模型（LMMs）在视觉理解和生成方面取得了显著进展，但在视觉编辑方面仍面临诸多挑战，尤其是在遵循复杂指令、保持外观一致性以及支持灵活的输入格式等方面。为研究这一差距，我们提出了 RISEBench——首个用于评估推理引导视觉编辑（Reasoning-Informed viSual Editing，RISE）的基准测试，并将其扩展为 RISEBench++，一个针对这一新兴任务更全面、更细粒度的基准。RISEBench++ 将分类体系扩展为涵盖六个推理维度的层次化方案：时序推理、因果推理、空间推理、逻辑推理和反事实推理，以及整合多种推理类型、跨越多轮对话的混合推理。这些维度进一步分解为 12 个子类别和 65 种细粒度任务类型。我们将输入格式扩展为支持多图像条件输入，并将基准规模扩大到 1000 个人工标注的测试案例，提供中英文版本。我们还改进了评估框架，通过人工评审和 LLM-as-a-judge 的方式，从指令推理、外观一致性和视觉合理性三个维度进行评估，以获得更可靠、更校准的评判结果。除基准测试外，我们还提出了 RISE-Agent——一个免训练的智能体框架，集成了推理驱动的规划、工具增强的执行和验证器引导的精化，在多种 RISE 任务上超越了大多数现有的强大方法。我们评估了 58 种视觉编辑方法，包括 34 个开源模型、19 个闭源模型和 5 种智能体方法。结果揭示了基于推理的视觉编辑所面临的巨大挑战，即使是表现最强的 GPT-Image-2.5 Sunburst，准确率也仅为 56.6%。RISEBench++ 突出了当前编辑模型的局限性，提供了有价值的见解，并指出了推理感知视觉编辑的未来方向。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12343) 查看 PDF (https://arxiv.org/pdf/2610.12343) GitHub155 (https://github.com/VisionXLab/RISEBench) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12343)

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.12343 以从此页面链接它。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.12343 以从此页面链接它。

引用此论文的 Space 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.12343 以从此页面链接它。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。