encoder-free

NVIDIA Labs 发布了 PixelUMM，这是一款无编码器的统一多模态模型，直接在原始像素空间中进行图像与视频的理解与生成，并同步开源了代码和模型。

NVIDIA 推出 PixelUMM，一个无需编码器的统一多模态模型，使用单个 decoder-only Transformer（以 Qwen3-8B 为骨干）直接读写原始像素，在图像和视频的理解与生成中移除了 VAEs 和 ViT 编码器。代码和模型检查点已一并发布，并附有针对 patch 伪影和 decoder 头部设计的详细消融实验。

PixelUMM 是一种无需编码器的统一多模态模型，直接在像素空间中运行：将图像表示为空间 patch，将视频表示为空时 tubelet，并通过单层线性投影输入共享骨干网络。其 Mixture-of-Transformers 架构同时支持自回归文本预测和像素空间的流匹配（flow matching），用于图像和视频的理解与生成，在取得有竞争力性能的同时，为未来的像素空间 UMM 设计提供了参考。

本文系统比较了无编码器和基于编码器的多模态模型的缩放定律，发现无编码器架构在小规模时性能不足，但在更大的计算预算下能赶上，随着规模增加，视觉编码器的优势逐渐减弱。

SenseNova-U1.5是一个8B原生统一多模态模型，它通过补丁重建、精选数据和专家优化，在无需编码器或VAE的情况下执行视觉理解、推理和生成，实现高保真度和指令遵循。

Thinking Machines Lab 发布 Inkling，一款拥有 975B 总参数、41B 激活参数的开权重多模态 MoE 模型，并具备可控的思维调节功能。该模型采用无编码器的方式实现多模态，在多个基准测试上达到了最先进水平。

研究人员受Gemma 4 12B启发，仅花费100美元训练了一个无需视觉编码器的视觉语言模型，在M3 Pro MacBook上实现了端到端延迟降低30%。

讨论利用 Gemma 4 12B 的无编码器架构实现原生语音输入，寻找现成的低延迟流式音频摄入解决方案。

Google DeepMind 宣布推出 Gemma 4 12B，一种新颖的无编码器多模态 AI 模型，将视觉和音频直接集成到 LLM 主干中，在配备 16GB RAM 的笔记本电脑上提供高级推理和代理能力，以 Apache 2.0 许可证发布。

谷歌的Gemma 4 12B引入了无需编码器的多模态架构，可与更大模型竞争，但基准测试对比显示它在大多数任务上落后于Qwen 2.5 9B。文章还涵盖了相关进展，包括开放权重模型的安全风险、Uber对Claude Code的支出上限以及NeurIPS对未校准AI检测器的误用。

Google 新推出的 Gemma 4 12B 是一个纯解码器 transformer，采用无编码器的多模态输入，在达到强大基准性能的同时，尺寸足够小，可以在廉价 GPU 上本地运行。它采用 Apache 2.0 许可证发布。

谷歌DeepMind研究员宣布发布Gemma 4 12B，一种无编码器的密集模型，可处理文本、图像和音频输入，延续了跨模态统一模型的研究工作。

谷歌的 Gemma 4 12B 模型通过无编码器架构实现本地多模态AI。

Google发布Gemma 4 12B，一款原生支持音频、无编码器的多模态模型，专为在笔记本电脑上本地运行而优化，采用Apache 2.0许可证。