Gemma 2B多模态模型无需编码器即可媲美更大模型
摘要
谷歌的Gemma 4 12B引入了无需编码器的多模态架构,可与更大模型竞争,但基准测试对比显示它在大多数任务上落后于Qwen 2.5 9B。文章还涵盖了相关进展,包括开放权重模型的安全风险、Uber对Claude Code的支出上限以及NeurIPS对未校准AI检测器的误用。
[Gemma 4 12B](https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12b/)以120亿参数推出无编码器多模态,并在社区基准测试中与两倍于其规模的模型不相上下。
无编码器架构是值得关注的亮点。从流程中移除视觉编码器可减少推理开销并简化部署,而谷歌在120亿参数规模上做到这一点,表明该设计已足够成熟,可以投入生产而不仅仅是研究演示。
但问题是:[与Qwen 2.5 9B的基准测试对比](https://i.redd.it/20s4116kg45h1.png)显示,Gemma 4在八项任务中有五项落败,这意味着在谷歌推出124B变体之前,Qwen仍是受限本地推理场景下的更优默认选择。
多模态能力的故事是真实的;但“最佳小模型”的故事还需要更多证据。
使Gemma 4能够在消费级硬件上部署的同一开放权重可访问性,本周也作为攻击载体出现。研究人员在测试网络中展示了一种完全由免费开放权重模型驱动的[自我传播的企业蠕虫](https://www.theregister.com/research/2026/06/04/free-ai-model-powers-self-spreading-worm-in-enterprise-test-network/5250918),这颠覆了“前沿实验室级别的能力障碍可以控制自主代理威胁面”的假设。
任何在联网环境中运行本地模型的组织,现在都必须将开放权重访问本身就视为一个攻击面,而非安全特性。
自主代理部署的成本方面也在破裂。[Uber对每位工程师使用Claude Code的支出设置上限](https://simonwillison.net/2026/Jun/3/uber-caps-usage/)标志着编码代理的固定费率假设已大规模失效,对于任何认真运行这些工具的团队而言,按使用量定价已成为运营现实。
[Anthropic发布的关于Claude沙箱化的文档](https://www.anthropic.com/engineering/how-we-contain-claude)在此提供了有用背景,因为在多租户或自主代理管道中部署Claude 4.5或4.6之前,理解隔离边界至关重要,但沙箱化文档描述的是Anthropic自身的基础设施,而非你的。
与能力问题无关的是,[NeurIPS使用未校准的AI检测器直接拒绝投稿](https://www.reddit.com/r/MachineLearning/comments/1tvwctd/neurips_used_uncalibrated_ai_detector_for_desk/),这是一个在任何人审计工具误报率之前,分类器误用影响真实科学结果的具体例子。
连接这些信号的模式是:开放权重模型如今已足够强大,能够同时驱动生产节省和生产级威胁,而机构正在使用未经利益相关验证的评估工具做出后果重大的决策。
如果谷歌在60天内推出Gemma 4 124B变体,那么与Qwen的基准测试差距将缩小,整个小模型部署栈中的“最佳本地多模态”问题将重新开放。
相似文章
Google Gemma 4 12B
谷歌的 Gemma 4 12B 模型通过无编码器架构实现本地多模态AI。
推出 Gemma 4 12B:一个统一的、无编码器的多模态模型
Google DeepMind 宣布推出 Gemma 4 12B,一种新颖的无编码器多模态 AI 模型,将视觉和音频直接集成到 LLM 主干中,在配备 16GB RAM 的笔记本电脑上提供高级推理和代理能力,以 Apache 2.0 许可证发布。
google/gemma-4-26B-A4B-it
Google DeepMind 发布 Gemma 4,一系列开放权重的多模态模型,参数量从2.3B到31B,支持文本、图像、视频和音频输入。模型具有256K上下文窗口,MoE和密集架构,增强的推理能力,并针对从移动设备到服务器的部署进行优化。
EmbeddingGemma 2:一款开源、轻量级的多模态嵌入模型
Google DeepMind 推出 EmbeddingGemma 2,这是一款拥有 740M 参数的开源(Apache 2.0)多模态嵌入模型,将文本、代码、图像、视频和音频统一到共享嵌入空间中,并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建,支持 8K 上下文,并采用 Matryoshka 截断以提升存储效率。
google/gemma-4-31B-it-assistant
Google DeepMind 发布了 Gemma 4,这是一个开源权重的多模态模型家族,支持文本、图像、视频和音频,具备增强的推理和编码能力,并通过多令牌预测(MTP)实现高达 2 倍的解码速度提升。