论文页面 - ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

来源：https://huggingface.co/papers/2608.04436

摘要

文本到图像（T2I）模型能够生成视觉上引人注目的图像，但在需要复杂语义理解、多步推理以及外部世界知识整合的开放世界任务中仍然存在局限。现有工作将智能体能力引入图像生成，但它们要么规定固定工作流，要么仅将开放世界图像生成过程的一部分置于智能体控制之下。因此，推理、工具调用和图像生成并未由单一策略协调。我们提出 ToolArtist，一种通过对统一多模态模型（UMM）进行后训练而获得的完全智能体化图像生成模型。ToolArtist 在单一统一策略内动态协调推理、外部工具使用和原生图像生成。在监督微调（SFT）阶段，我们为教师智能体配备搜索工具以及图像生成工具。然后，我们将收集到的轨迹转换为与 UMM 兼容的格式，其中图像生成工具被隐藏，而生成的图像得以保留。在强化学习（RL）阶段，我们为 UMM 开发了智能体强化学习基础设施，并提出了 Reason-Act-Draw GRPO（RAD-GRPO），它使用互补的意图奖励和质量奖励来联合优化模型。实验表明，将整个开放世界图像生成过程置于智能体策略之下，始终优于采用固定流水线或仅部分组件由智能体控制的方法。我们发布了训练数据和完整的后训练基础设施。

查看 arXiv 页面 查看 PDF 添加到收藏

在您的智能体中获取此论文：

hf papers read 2608\.04436

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型与此论文关联

在模型的 README.md 中引用 arxiv.org/abs/2608.04436，即可从本页面链接到该模型。

引用此论文的数据集 0

暂无数据集与此论文关联

在数据集的 README.md 中引用 arxiv.org/abs/2608.04436，即可从本页面链接到该数据集。

引用此论文的 Space 0

暂无 Space 与此论文关联

在 Space 的 README.md 中引用 arxiv.org/abs/2608.04436，即可从本页面链接到该 Space。

收录此论文的收藏集 0

暂无收藏集收录此论文

将这篇论文添加到收藏集中，即可从本页面链接到该收藏集。