论文页面 - 通过理解监督引导统一多模态模型中的视觉生成

来源：https://huggingface.co/papers/2605.05781

摘要

以理解为导向的后训练框架利用理解任务作为监督信号，从而提升图像生成和编辑的效果。

统一多模态模型（https://huggingface.co/papers?q=Unified%20multimodal%20models）旨在弥合理解与生成之间的鸿沟。然而，为了取得具有竞争力的性能，最先进模型通常采用很大程度上解耦的理解与生成组件。尽管这种设计在单独的任务中行之有效，但它削弱了实现相互增强所需的联系，使得协同效应的潜力在经验上仍不确定。我们提出通过引入以理解为导向的后训练（https://huggingface.co/papers?q=Understanding-Oriented%20Post-Training）（UNO）来明确恢复这种协同效应。这是一个轻量级框架，它将理解不仅视为一个独立的任务，更视为引导生成表示（https://huggingface.co/papers?q=generative%20representations）的直接监督信号。通过纳入编码语义抽象（https://huggingface.co/papers?q=semantic%20abstraction）（图像描述）和结构细节（视觉回归（https://huggingface.co/papers?q=visual%20regression））的目标，我们实现了从理解到生成的有效梯度流（https://huggingface.co/papers?q=gradient%20flow）。在图像生成和编辑上的大量实验表明，理解可以作为生成的有效催化剂。

查看 arXiv 页面 (https://arxiv.org/abs/2605.05781) 查看 PDF (https://arxiv.org/pdf/2605.05781) 项目页面 (https://lzy-tony.github.io/uno) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.05781)

在你的代理中获取此论文：

hf papers read 2605\.05781

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.05781 以在此页面建立链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.05781 以在此页面建立链接。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.05781 以在此页面建立链接。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。