让我们把 VAE 和 ViT 从视频模型中移除掉吧！

🚀 介绍 PixelUMM：一个无编码器的统一多模态模型，可直接在像素空间中完成图像与视频的理解和生成，无需 VAE，也无需视觉编码器。代码与模型现已开源！

🌐 https://nv-tlabs.github.io/PixelUMM 📄 https://arxiv.org/abs/2609.38597

无编码器的统一图像与视频理解与生成

来源：https://nv-tlabs.github.io/PixelUMM/

概述

PixelUMM 用一个纯解码器（decoder-only）Transformer 来读写原始像素——没有 VAE，也没有视觉编码器。图像被切分为 16×16 的 patch，视频被切分为 4 帧的 tube；以 Qwen3-8B 为骨干，配备各自独立的理解专家与生成专家，两者共享同一套 self-attention，同时处理文本、干净像素和含噪像素。

架构概览图。图中理解分支所展示的回答文本仅作示意。 视频加载失败。请重新加载页面。

实验发现

八个实验系列 · F1–F8

PixelUMM 背后的消融实验被归入八个实验系列 F1–F8，各配置编号为 R01、R02，依此类推。我们先从 patch 伪影说起——这是线性像素头最显眼的失败模式。

F3### Patch 伪影

使用线性像素解码器时，生成的图像和视频在天空等平滑、低纹理区域会出现微弱的与网格对齐的亮度阶跃。正如 MiniT2I 中也观察到的那样，这种 patch 伪影在较高的无分类器引导下会更加明显，大约在 CFG 6 附近。

一张生成图像中平滑天空的裁剪区域，以及一帧生成视频中钢琴家身后平滑墙面的裁剪区域，均可见微弱的 16 像素网格边界（https://nv-tlabs.github.io/PixelUMM/findings/f3-linear-head-artifacts.webp?v=2）线性像素头（F3-R01）。左：一张生成图像及其平滑天空部分的裁剪。右：《Upright piano》（https://nv-tlabs.github.io/PixelUMM/#examples）视频的第 0 帧及其钢琴家身后平滑墙面部分的裁剪。可点击图片查看全分辨率版本。请注意，发布的 checkpoint、用于基准测试的模型以及本页所有在线演示（包括本页上的每一个视频），都是用默认的线性输出头生成的，因为从线性头切换到卷积头需要进一步训练。

三种卷积视频输出头

每个头都替换了 video_linear_outproj，从 Gen Stage 1 初始化，并将 Transformer 的 T/4 × H/16 × W/16 隐层网格映射回 T × H × W 的 RGB 视频。

运行编号输出头GFLOPs*参数量F3-R01Linear（基线）13312.6MF3-R02Wan 风格上采样 + 卷积2,274（17.1×）18.3M（1.5×）F3-R03PixelShuffle，时间优先（T-S）1,279（9.6×）52.9M（4.2×）F3-R04PixelShuffle，空间优先（S-T）747（5.6×）15.1M（1.2×）*针对一个 96×176×320 视频片段，仅卷积部分的前向计算开销。

三种卷积视频输出头的框图（https://nv-tlabs.github.io/PixelUMM/findings/f3-decoder-architectures.webp）三种卷积输出头。T-Conv 和 S-Conv 分别表示 3×1×1 的时间卷积与 1×3×3 的空间卷积。#### 各输出头之间的权衡

• **训练损失。**两个 PixelShuffle 头都能收敛到接近 0.02 的 T2V 像素流损失，而 Wan 风格的头始终高于 0.05。
• **边界探测。**在 72 个评测 prompt 上、于 clamp 之前的 float32 输出上测量，线性头在 16 像素 patch 边界（1.078）和 4 帧 tubelet 边界（1.160）处的抬升幅度最大。Wan 风格的头接近归一化基线；PixelShuffle 头留下的残余抬升更小。
• **生成视频。**Wan 风格的头给出最干净的边界，但输出更模糊。PixelShuffle 提供了更好的权衡，其中时间优先（F3-R03）略优于空间优先（F3-R04）。

相同 prompt 由各输出头分别生成，并在第 0、32、64、95 帧展示同一个固定裁剪区域（https://nv-tlabs.github.io/PixelUMM/findings/f3-decoder-heads-qualitative.webp）相同 prompt，每个输出头占一行。红框标记的是一个固定裁剪区域，在 96 帧视频的第 0、32、64、95 帧中展示（为视频编码前截取的无损帧）。结论卷积头可以减少 patch 伪影。PixelShuffle 在训练损失与伪影抑制之间的权衡优于上采样加卷积的头。

请注意，发布的 checkpoint、用于基准测试的模型以及本页所有在线演示（包括本页上的每一个视频），都是用默认的线性输出头生成的，因为从线性头切换到卷积头需要进一步训练。

F1### 图像 patch 尺寸

16×16（F1-R01）与 32×32（F1-R02）的 patch 仅在生成的输入投影与输出头上不同。在相同的序列长度预算下，32×32 每步可以装下四倍数量的图像，然而 16×16 在训练后期始终保持着更低的 T2I 训练损失。

16×16 与 32×32 图像 patch 的 T2I 训练损失（https://nv-tlabs.github.io/PixelUMM/findings/f1-image-patch-size-loss.webp）T2I 像素流 MSE：完整轨迹（左）与 10K–15K 区间放大（右）。结论更强的空间压缩会让图像生成更难学习。

F2### 视频 patch 尺寸

四种 tubelet 到 token 的映射方式：p32/t4、p32/t2、p16/t4 和 p32/t1（空间 patch 大小 / 每个 token 的帧数）。时空压缩越弱，T2V 损失总体越低，其中 p32/t1 最低。最终模型采用 p16/t4，以匹配 Wan2.2 等常见视频 VAE 的压缩程度。

四种视频 patch 配置的 T2V 训练损失（https://nv-tlabs.github.io/PixelUMM/findings/f2-video-patch-size-loss.webp）0–68K 步（左）与 40K–68K（右）区间的 T2V MSE。结论每个视频 token 覆盖 1,024 到 4,096 个像素；压缩越强，视频生成越难学习。

F4### 像素空间 vs. VAE 空间训练

一个采用 x 预测的 32×32 像素 patch 训练（F4-R01），对比一个使用冻结 Wan2.2 VAE、2×2 latent patch 化以及 v 预测的训练（F4-R02），两者采用相同的有效 token 步长。在 10K 步时，VAE 空间的损失约为像素空间损失的 4.3 倍，但由于这两个损失处于不同的空间中，这并不能说明像素空间学习得更快。

像素空间与 VAE 空间的损失及梯度范数曲线（https://nv-tlabs.github.io/PixelUMM/findings/f4-pixel-vs-vae.webp）左：像素空间与 VAE 空间的 T2I 速度 MSE。右：clip 之前的全局梯度范数。结论两者梯度范数几乎相等；像素空间训练会出现偶发的损失尖峰。

F5### 模型规模

1.7B（F5-R01）与 8B（F5-R02）模型，使用相同配方、全局 batch size 为 256。8B 模型在约 14K 步（而非 40K 步）就达到 MSE 0.060，在约 10K 步（而非 31K 步）就达到 CE 0.50。

1.7B 与 8B 模型的 MSE 与 CE 损失曲线（https://nv-tlabs.github.io/PixelUMM/findings/f5-model-size.webp?v=2）联合 Stage 1 的 MSE（左）与 CE（右）。结论8B 模型用大约三分之一的训练步数就能达到相当的生成与文本损失水平。

F6### 计算扩展

相同的 1.7B 模型与匹配的配方，分别在 8 GPU（F6-R01）与 128 GPU（F6-R02）上训练。在更多 GPU 下，CE 在约 2K 步（而非 17.5K 步）就达到 1.0（步数约减少 9 倍），而 MSE 在约 17K 步（而非 23K 步）就达到 0.065（步数约减少 1.3 倍）。这些是达到固定损失所需的步数，而非实际墙钟时间上的加速。

8 GPU 与 128 GPU 的 MSE 与 CE 损失曲线（https://nv-tlabs.github.io/PixelUMM/findings/f6-compute-scaling.webp?v=2）MSE（左）与 CE（右）；实色曲线为原始测量值的 EMA。结论增加 GPU 对文本（CE）收敛的加速远大于对生成（MSE）收敛的加速。

F7### 多模态上下文条件控制

干净的条件（文本、参考图像、输入视频）进入理解专家，含噪的目标 token 进入生成专家，两者在共享的 self-attention 中相遇。这将 SenseNova-U1 的无编码器图像条件扩展到了图生视频与视频编辑，无需单独的 VAE token 流。在 8 个任务上经过 15K 步多任务微调后，图像理解表现有涨有跌（BLINK +2.37、CV-Bench +2.27、SEED-I −5.41），而四个视频基准上的表现均提升了 0.89–3.49 分。

交错的文本、图像与视频条件经由理解专家进行路由的示意图（https://nv-tlabs.github.io/PixelUMM/findings/f7-context-conditioning.webp）交错的视觉上下文条件控制。一个首帧条件以及随后三帧生成视频（https://nv-tlabs.github.io/PixelUMM/findings/f7-image-to-video.webp）图生视频：干净的首帧，以及生成片段的第 0、47、95 帧。结论干净的视觉条件可以经由理解专家进行路由，而不会系统性地损害理解能力。

F8### 视频理解接口

dense_mode 以 4 FPS 采样并构成 4 帧的 tubelet；sparse_mode 以 1 FPS 采样并独立地对每一帧做投影。两者都使用相同的每帧 448² 预算。在 F8-R01（Und Stage 3，9K 步）下：

接口MVBenchVideo-MMELongVideoBenchLVBenchsparse_mode71.1557.8959.3941.38dense_mode71.2257.6758.7141.38Δ+0.07−0.22−0.680.00 结论4 FPS 的 tubelet 输入与 1 FPS 的帧输入表现相当。

理解基准测试

发布的 PixelUMM checkpoint 与统一模型及视觉-语言模型（VLM）的对比结果。其整体表现与基线相当。由于各模型的训练数据不同，这些结果无法判定哪种架构更优，或哪个模型收敛更快。深绿与浅绿分别标出每一行中最好与第二好的结果。

图像理解

统一模型VLMs基准PixelUMM8B MoTBAGEL7B MoTTUNA7B+5BTUNA-27B+5BQwen2.5-VL 7BLLaVA-OV-1.5 8BLLaVA-OV-2 8BQwen3-VL-Inst. 8BNEO-ov 8BMMMU41.6755.3049.8050.7051.3055.40–69.6068.10MMStar53.99–61.20–62.5067.7064.3070.9067.30RWQA71.6372.8066.1067.7068.5068.1069.7071.5067.80SEED-I70.39–74.70–77.5077.30––76.60AI2D80.1289.2079.3079.6082.6084.2084.3085.7085.40DocVQA90.42–––94.9095.0095.2096.1091.90ChartQA82.9678.5085.8085.6084.1086.5085.9089.6086.20InfoVQA63.67–––81.7078.4074.4083.10–TextVQA78.76–––84.90–––78.50OCRBench78.0073.3074.3079.7084.2082.9078.2089.6081.60MME1809.542388.00––2347.00––––GQA61.9066.4063.9065.0060.70––––MMVP80.3385.0070.7077.3078.00––––SEED2+64.5171.9052.7061.1070.9069.20–––CV-Bench77.60–––80.0080.70–––CountBench94.3082.5073.5081.7086.4088.2089.0089.80–PixMo-Count73.03–––63.3062.2064.0062.40–V*76.9670.2052.4059.2077.0078.0085.9085.30–MMMU-Pro27.63–––36.3037.40–––BLINK53.46–––56.4048.3063.5069.1062.80MuirBench38.31–––59.60––64.4058.20 PixelUMM 使用官方 LMMS-Eval 协议进行评测（21 个任务共 64,750 次生成）。

视频理解

统一模型VLMs基准PixelUMM8B MoTShow-o2 1.5B+0.5BTUNA 1.5B+?Lance 3B MoTLLaVA-OV-2 8BQwen3-VL 8BKeye-VL-1.5 8BInternVL-3.5 8BPLM 8BLLaVA-OV-1.5 8BMVBench70.5349.8054.4062.0066.2069.0056.9072.1077.1051.20Video-MME（无字幕）57.3348.0049.10–71.9071.4073.0065.9060.5061.10LongVideoBench59.6149.2049.70–66.9068.0066.0062.4059.6056.20LVBench40.41–27.40–55.5058.0042.8046.7044.5040.10 PixelUMM 以 sparse_mode 进行评测，最多采样 96 帧。Video-MME 评测不使用字幕。已发表的模型均沿用其原始评测协议。

局限性

PixelUMM 存在短板。虽然直接在像素空间中生成省去了 VAE，但 PixelUMM 仍然共享着隐空间视频扩散模型的典型失败模式。

• **多个相似实体。**当若干动物或人物相互重叠时，它们的身体可能合并、分裂或凭空出现，导致在整个片段中数量漂移。
• **手部与精细解剖结构。**手部可能出现数量不对的手指，细小的肢体也可能相互模糊黏连。
• **物理规律与交互。**运动可能不符合物理规律，刚体可能弯曲或形变，物体或角色之间的交互也可能不会产生预期效果。