论文页面 - 编码智能体在视觉生成中能走多远？

来源：https://huggingface.co/papers/2610.19025

摘要

编码智能体通过可执行程序来构建图像，在不同的绘图接口之间展现出结构化的视觉推理能力和一致的内部场景表征。

现代图像生成在很大程度上依赖于专门的生成模型，将图像构建的过程隐含在学习到的参数中。我们探索了一种替代方案：通用的编码智能体通过可执行程序来构建图像。我们在 AgentDrawBench（一个包含 200 个提示词的基准测试）上对零样本绘图进行了研究，揭示了一种独特的能力特征。智能体擅长保持结构和满足精确的视觉约束，在组合准确性比照片级真实外观更重要的领域中取得了有竞争力的结果，同时在感知丰富性方面仍存在局限。它们的视觉表达能力因绘图接口而异，一项关于图像重建的定性研究表明，从人类演示中提取的程序化技能如何支持不同的艺术媒介。随后我们考察了代码作为一种外部视觉思维语言的角色：一种智能体可以构建和检查的结构化、可执行的表征。我们在视觉问答任务中对其进行测试，发现重建的视觉代码保留了大量用于问答的信息，在某些领域中甚至能支持比原始图像更高的准确率。这些能力引出了一个更深层的问题：智能体是否在特定绘图程序之外，依赖一种共享的场景内容内部表征？我们探讨了内部视觉思维语言假说，即一种共享的、组合结构化的表征支持跨绘图语言的视觉操作。跨框架的绘图以及由独立单像素查询组装而成的图像展现出相关的布局和色调。智能体在可见绘图被移除后，仍能在不同视角下保持自生成的房间布局。这些结果表明，编码智能体在绘图框架介入、生成开始之前，就能在其想象中维持一个一致而连贯的世界。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19025)　查看 PDF (https://arxiv.org/pdf/2610.19025)　项目主页 (https://hengguangzhou.github.io/0shotdrawer/)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.19025)

在您的智能体中获取此论文：

hf papers read 2610.19025

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接到此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.19025 即可在此页面建立链接。

引用此论文的数据集 0

暂无数据集链接到此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.19025 即可在此页面建立链接。

引用此论文的 Spaces 0

暂无 Space 链接到此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.19025 即可在此页面建立链接。

包含此论文的合集 0

暂无合集包含此论文。

将此论文添加到合集即可在此页面建立链接。