论文页面 - 智能体式视觉生成：从生成模型到智能体控制

来源：https://huggingface.co/papers/2609.06758

摘要

摘要提出了一个四级框架，根据控制器对生成操作的直接决策范围，对智能体式视觉生成进行分类，范围从固定支持到经验自适应控制。

视觉生成（https://huggingface.co/papers?q=Visual%20generation）正从通过单次调用使用的生成模型，演变为能够规划、选择工具、检查中间合成输出、修正失败并重用先前经验的智能体式控制（https://huggingface.co/papers?q=agentic%20control）过程。在大多数现有系统中，控制器是大语言模型或多模态大语言模型，而视觉生成（https://huggingface.co/papers?q=visual%20generation）模型则作为工具或执行器。然而，现有工作缺乏一个一致的标准来确定一个生成系统何时成为智能体式。规划深度、工具使用、多角色协作和强化学习（https://huggingface.co/papers?q=reinforcement%20learning）常被视为智能体性的证据，尽管这些因素都不一定决定控制器能够做出哪些生成决策。我们根据控制器在生成过程中能直接控制什么来组织该领域。在L1 条件控制（https://huggingface.co/papers?q=Conditioning%20Control）层级，控制器准备输入给预定义的生成器，但不控制执行哪个视觉操作。在L2 执行控制（https://huggingface.co/papers?q=Execution%20Control）层级，它选择并调用实际的生成、编辑、渲染或其他内容修改操作。在L3 结果自适应控制（https://huggingface.co/papers?q=Outcome-Adaptive%20Control）层级，它观察中间结果，并利用该观察在当前任务中改变后续操作。在L4 经验自适应控制（https://huggingface.co/papers?q=Experience-Adaptive%20Control）层级，它保留已完成任务的经验，并利用该经验改变对未来任务的决策。L0 固定支持则单独指代生成器、编辑器、评估器、奖励模型、基准测试以及没有部署能做出生成级别决策的控制器的固定流水线。这些层级描述的是逐渐扩大的决策范围，而非模型规模、系统复杂性、输出质量、工具或角色数量或训练方法。将此框架应用于图像、视频、编辑、3D、世界、幻灯片和用户界面生成，揭示了控制器能力的演进及其机制在各层级上的分布。

查看 arXiv 页面 (https://arxiv.org/abs/2609.06758) 查看 PDF (https://arxiv.org/pdf/2609.06758) GitHub24 (https://github.com/YinmingHuang/Awesome-agentic-visual-generation-model) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.06758)

在您的智能体中获取此论文：

hf papers read 2609.06758

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文。

在模型的 README.md 中引用 arxiv.org/abs/2609.06758 以从本页面链接。

引用此论文的数据集0

无数据集链接此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2609.06758 以从本页面链接。

引用此论文的 Spaces0

无 Space 链接此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.06758 以从本页面链接。

包含此论文的收藏集0

无收藏集包含此论文。

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。