感谢分享！我们已经开源了代码和模型。 Huggingface 论文：https://huggingface.co/papers/2609.38597 代码：https://github.com/nv-tlabs/PixelUMM 模型：https://huggingface.co/nvidia/PixelUMM

论文页面 - PixelUMM：无需编码器的统一图像与视频理解及生成模型

来源：https://huggingface.co/papers/2609.38597 作者：

摘要

统一多模态模型（Unified Multimodal Models, UMMs）通常为理解和生成分别依赖不同的视觉表征，这会增加视觉上下文长度，并使模型难以与已有的视觉-语言预训练流程相整合。像素空间建模的最新进展提供了一种无需编码器的替代方案，但将这一范式从图像扩展到视频并非易事：视频理解与生成采用不同的时间表征，因此统一视觉接口的设计仍是一个开放性问题。我们提出了 PixelUMM，一个无需编码器的模型，可直接在像素空间中实现统一的图像与视频理解与生成。PixelUMM 将图像表示为空间 patch，将视频表示为时空 tubelet，并通过单层线性投影将原始像素连接到共享的多模态骨干网络。其 Mixture-of-Transformers 架构在共享注意力机制中结合任务特定参数，并将干净像素预测扩展到视频生成，同时支持自回归文本预测和像素空间流匹配。实验表明，PixelUMM 在图像与视频的理解和生成任务上均取得了具有竞争力的性能。我们还对关键设计选择（包括解码器设计和时空 patch 大小）进行了实证研究，为未来的像素空间统一多模态模型提供了参考。

查看 arXiv 页面（https://arxiv.org/abs/2609.38597） 查看 PDF（https://arxiv.org/pdf/2609.38597）项目主页（https://nv-tlabs.github.io/PixelUMM/）GitHub 122（https://github.com/nv-tlabs/PixelUMM）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.38597）

在你的 agent 中获取这篇论文：

hf papers read 2609.38597

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

没有模型链接此论文。

在模型的 README.md 中引用 arxiv.org/abs/2609.38597，即可从该页面链接过来。

引用此论文的数据集：0

没有数据集链接此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2609.38597，即可从该页面链接过来。

引用此论文的 Spaces：2

收录此论文的合集：3

Robots Digest 🤖 (@robotsdigest): NVIDIA 研究人员刚刚发布了 PixelUMM——一个从根本上改变模型处理视觉数据方式的统一多模态模型。 突破性亮点： 完全移除了架构中的 VAE 和 ViT 在图像和视频任务上均直接在原始像素空间中运行