在统一的多模态理解与生成中唤醒空间智能
摘要
本文介绍了 JoyAI-Image,这是一种统一的多模态基础模型,通过整合空间增强的多模态大语言模型(MLLM)与多模态扩散 Transformer(MMDiT),在视觉理解、文生图生成以及指令引导编辑方面取得了最先进的性能。
查看缓存全文
缓存时间: 2026/05/08 08:08
论文页面 - 唤醒统一多模态理解与生成中的空间智能
来源: https://huggingface.co/papers/2605.04128 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
JoyAI-Image 将空间增强的 MLLM 与 MMDiT 相结合,以实现统一的视觉理解、文生图生成和指令引导的图像编辑,并具备增强的空间智能。
我们提出了 JoyAI-Image,这是一个用于视觉理解、文生图生成和指令引导图像编辑的统一多模态基础模型。JoyAI-Image 将空间增强的多模态大语言模型 (Multimodal Large Language Model, MLLM) 与多模态扩散 Transformer (Multimodal Diffusion Transformer, MMDiT) 耦合,允许感知和生成通过共享的多模态接口进行交互。围绕这一架构,我们构建了一个可扩展的训练方案,结合了统一指令微调 (unified instruction tuning)、长文本渲染监督 (long-text rendering supervision)、空间接地数据 (spatially grounded data) 以及通用和空间编辑信号。这种设计赋予了模型广泛的多模态能力,同时增强了基于几何的推理能力和可控的视觉合成 (controllable visual synthesis)。在理解、生成、长文本渲染和编辑基准上的实验表明,JoyAI-Image 达到了最先进或极具竞争力的性能。更重要的是,增强理解、可控空间编辑和新视角辅助推理之间的双向循环 (bidirectional loop) 使模型能够超越一般的视觉能力,走向更强的空间智能 (spatial intelligence)。这些结果表明,统一视觉模型在下游应用(如视觉-语言-动作系统 (vision-language-action systems) 和世界模型 (world models))中具有广阔的前景。
查看 arXiv 页面 (https://arxiv.org/abs/2605.04128)查看 PDF (https://arxiv.org/pdf/2605.04128)GitHub2.11k (https://github.com/jd-opensource/JoyAI-Image)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.04128)
在您的 agent 中获取此论文:
hf papers read 2605\.04128
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型1
jdopensource/JoyAI-Image-Edit Image-to-Image• 更新于1天前 • 6.02k • 119 (https://huggingface.co/jdopensource/JoyAI-Image-Edit)
引用此论文的数据集0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2605.04128 以从本页面链接。
引用此论文的应用空间3
包含此论文的集合1
相似文章
在原生统一多模态模型中揭示理解-生成协同:从表示、任务到系统
本文探讨了统一多模态模型中视觉理解与生成之间的协同效应,表明任务解耦架构和端到端优化可以通过将共存转化为协同来提升性能。
通过理解监督引导统一多模态模型中的视觉生成
本文介绍了 UNO,这是一种以理解为导向的后训练框架,利用理解任务作为监督信号,以增强统一多模态模型中的图像生成和编辑能力。
HiUni:在共享视觉空间中协调理解与生成
HiUni 探索通过广泛的参数共享,将预训练视觉语言模型扩展为统一的多模态模型,复用单一稠密骨干网络来同时完成理解与生成任务,并利用 PixelDiffusionHead 和 HiGate 通路应对优化与空间细节方面的挑战。实验表明,它在理解得分上与预训练视觉语言模型持平,同时在图像生成与编辑方面取得了具有竞争力的表现。
统一多模态自回归建模:共享上下文-视觉分词器是实现统一的关键
UniAR提出了一个统一的自回归框架,使用单个离散视觉分词器桥接视觉理解与生成,在图像生成和编辑方面取得了最佳成果。
空间记忆智能:为世界模型注入理解驱动的长期记忆
论文提出了空间记忆智能(Spatial Memory Intelligence, SMI)框架,它首次采用理解模型(MLLM)在长视频世界模型中系统化地管理空间记忆,具体通过四个原子操作实现:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明,该方法在多种世界模型主干上均提升了记忆稀疏性、生成稳定性和空间一致性。