论文页面 - UniSpace：统一视觉表征与可扩展多模态建模

来源：https://huggingface.co/papers/2608.08676 发布于8月9日

·

由https://huggingface.co/yjb6提交

yjb (https://huggingface.co/yjb6) 于8月24日

摘要

我们提出了一种经过重参数化的预训练视觉Transformer，可在单一视觉空间内统一实现语义理解、高保真重建与图像生成，无需依赖独立的VAE。

语义视觉编码器已成为多模态理解与图像生成中语义条件控制的核心视觉接口。然而，其最终输出的标记丢弃了细粒度视觉细节，导致像素级重建效果不佳，从而限制了其在图像生成、编辑等对重建敏感任务中的应用。本研究探讨：能否基于预训练的语义ViT构建单一视觉表征空间，统一建模理解、生成与编辑？我们发现，语义ViT中冻结的Transformer模块本身并非无法保留视觉细节，而是原有的块参数化方式促使表征偏向语义抽象，使得最终标记难以恢复细粒度信息。基于这一观察，我们引入了块重参数化技术，在保留原始语义通路的同时，增加了一个面向重建的块嵌入层，向相同的冻结ViT模块提供细粒度视觉信息。由此生成的统一表征在保持多模态理解能力的同时，实现了高保真图像重建，并取得了良好的重建-生成权衡。我们进一步将该表征扩展为UniSpace——一个基于8B参数混合Transformer专家模型，在同一视觉空间内执行理解、生成与编辑任务，无需独立的VAE通路。系统级评估表明，该模型在文本到图像生成和基于指令的图像编辑任务中表现优异，证明重参数化的预训练ViT可作为可扩展多模态建模的统一视觉接口。

查看arXiv页面 (https://arxiv.org/abs/2608.08676)查看PDF (https://arxiv.org/pdf/2608.08676)项目主页 (https://yjb6.github.io/UniSpace/)GitHub5 (https://github.com/yjb6/UniSpace)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.08676)

通过智能体获取论文：

hf papers read 2608\.08676

尚未安装最新版CLI？运行curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型1

yjb6/UniSpace (https://huggingface.co/yjb6/UniSpace)

引用本文的数据集0

暂无关联数据集

在数据集的README.md中引用arxiv.org/abs/2608.08676可将数据集链接至本页。

引用本文的应用空间0

暂无关联应用空间

在应用空间的README.md中引用arxiv.org/abs/2608.08676可将应用空间链接至本页。

包含本文的收藏0

暂无包含本文的收藏

将本文添加至收藏夹 (https://huggingface.co/new-collection)即可在本页建立链接。