论文页面 - Intern Lumina U2：一个用于全视觉理解与图像生成的多码本扩散大语言模型

来源：https://huggingface.co/papers/2610.20818

发布于10月14日

每日论文#3 (https://huggingface.co/papers/date/2026-10-16)

作者：

摘要

Intern Lumina U2 是一个扩散语言模型，它使用多码本离散视觉令牌，在单一主干网络中将图像、视频和3D生成与文本统一起来，实现了高性能和更快的推理速度。

统一多模态生成涵盖离散、连续和混合范式。使用单码本视觉分词器的离散方法与文本建模天然对齐，但表示能力有限。连续和混合方法保留了更丰富的视觉表示，但它们在异构空间中以不同的训练目标对文本和图像进行建模，可能会在表示空间未对齐的模态之间引入优化冲突。这些选择揭示了一个核心问题：如何在单一主干网络中，于共享优化空间内高效地对高容量视觉表示与文本内容进行联合建模。我们提出了 Intern Lumina U2——据我们所知，这是首个在完全离散空间中表示多码本视觉令牌的扩散语言模型。每个视觉位置由来自互补码本的一组编码表示，这增强了其表示能力，同时保持了与离散文本建模的兼容性。在输入端，嵌入在每个位置上进行拼接；在输出端，一个轻量级的多码本自回归头按顺序预测每个位置内的编码，而扩散主干网络则并行处理所有位置。基于 AToken 的统一4D表示构建，Intern Lumina U2 在单一主干网络中支持图像、视频和3D输入，并在视觉理解、图像生成和图像编辑方面在统一模型中达到了领先性能。我们还基于 Ascend 和 NVIDIA 平台构建了全栈训练、推理和评估系统，以验证模型的跨平台有效性。我们还通过一种稳定性感知采样策略提高了推理效率，该策略结合了置信度平台引导的解掩码方法和漂移触发的缓存刷新机制，将图像生成加速了4.45倍。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20818) 查看 PDF (https://arxiv.org/pdf/2610.20818) 项目页面 (https://internlm.github.io/InternLumina-U2/) GitHub68 (https://github.com/InternLM/InternLumina-U2) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.20818)

在您的代理中获取此论文：

hf papers read 2610.20818

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.20818 以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.20818 以从此页面链接它。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.20818 以从此页面链接它。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接它。