论文页面 - CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑

来源：https://huggingface.co/papers/2607.05465 发布于7月6日

·

由https://huggingface.co/cswhjiang提交

wh (https://huggingface.co/cswhjiang) 于7月8日

摘要

本文提出了一种大规模多模态工具使用数据集和智能体，用于通过多轮交互和混合奖励优化来编排多种视觉工具，从而完成复杂的图像创建流程。

复杂的图像创建（https://huggingface.co/papers?q=Complex%20image%20creation）和编辑往往需要超越单一生成或编辑模型的能力。用户请求可能涉及合成图像、定位对象、分割区域、编辑选定内容、合成中间素材、读取文本以及增强最终结果。这类任务促使多模态智能体从感知增强推理转向以操作为中心的视觉创建，其中工具必须主动转变视觉状态，而不仅仅是检查它们。然而，现有的多模态工具使用智能体大多针对感知、搜索或特定领域编辑进行了优化，缺乏用于可执行图像创建轨迹的大规模监督。在本文中，我们介绍了CanvasCraft——一个用于复杂图像创建和编辑的大规模多模态工具使用数据集（https://huggingface.co/papers?q=multimodal%20tool-use%20dataset），以及CanvasAgent——一个工具增强的多模态智能体（https://huggingface.co/papers?q=tool-augmented%20multimodal%20agent），它通过学习通过多轮交互（https://huggingface.co/papers?q=multi-turn%20interaction）来编排异构视觉工具（https://huggingface.co/papers?q=visual%20tools）。CanvasCraft包含14万条完全注释的可执行轨迹（https://huggingface.co/papers?q=executable%20trajectories）和1万条RL任务规范。CanvasAgent首先通过SFT训练学习可执行的推理-动作轨迹，然后使用GRPO（https://huggingface.co/papers?q=GRPO）并结合混合奖励（https://huggingface.co/papers?q=hybrid%20reward）（结合结果级和过程级信号）进行优化。在推理过程中，CanvasAgent检查中间结果、跟踪视觉资产，并根据不断变化的视觉状态调整工具决策。实验评估了最终图像质量和轨迹行为，证明了CanvasAgent及所提出数据集在复杂多工具图像创建工作流中的有效性。

查看arXiv页面（https://arxiv.org/abs/2607.05465）查看PDF（https://arxiv.org/pdf/2607.05465）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.05465）

在你的agent中获取这篇论文：

hf papers read 2607.05465

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2607.05465以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2607.05465以从此页面链接。

引用此论文的Spaces0

没有Space链接此论文

请在Space README.md中引用arxiv.org/abs/2607.05465以从此页面链接。

包含此论文的合集0

没有合集包含此论文

请将此论文添加到一个合集（https://huggingface.co/new-collection）以从此页面链接。