论文页面 - 通过闭环验证推理解锁复杂视觉生成

来源：https://huggingface.co/papers/2605.14876

当前的文本到图像模型仍然严重依赖“单步生成“范式：模型需要在一次去噪过程中满足所有语义约束。随着提示变得更具组合性，这常常导致计数失败、空间关系断裂、属性混淆和语义漂移。

在这项工作中，我们提出了CLVR（闭环视觉推理），这是一个将图像生成从一次性提示到图像的映射重塑为闭环、多步视觉推理过程的框架。

在每一步中，VLM控制器观察当前画布和累积轨迹，推理剩余的语义差距，并决定是否调用图像生成/编辑、执行验证或终止。扩散模型随后执行选定的视觉动作，更新后的画布被反馈到下一个推理步骤。

VLM不是一次性生成图像，而是持续检查当前画布、识别语义差距、规划下一步动作，并迭代编辑图像，直到满足用户目标。

为了实现这一点，我们构建了：

• 一个经过验证的轨迹合成流程，包含步骤级和全局验证，
• 代理提示强化学习（PPRL），用于稳定的长上下文多模态RL，
• 以及Δ空间权重合并（DSWM），将推理推理从28×2 NFEs减少到仅4 NFEs，且无需昂贵的重新蒸馏。

我们的语义复杂性探测中的一个关键发现是，随着提示复杂性的增加，单步T2I模型表现出能力上限，而CLVR在高复杂性层级中保持了显著更强的性能。

在GenEval、PRISM、WiseBench等基准测试中，CLVR持续改进强大的开源基线，并缩小了与GPT-4o和Gemini等专有系统的差距。