Gemma 5 的建议列表。

最近，Omar Sanseviero 在 Twitter 上征集对未来 Gemma 模型的建议。我的看法如下：Gemma 5 应该采用循环 Transformer 架构。采用循环深度可配置的循环 Transformer，将解决 Gemma 4 最大的弱点之一——推理能力。别误会，我很喜欢 Gemma 4 推理时的简洁，但这确实会妨碍它在某些场景下的表现。循环架构能让模型在这类任务上表现得更好，同时仍可配置为进行较浅的推理，而且无需额外昂贵的预训练，就能比传统 Transformer 高效得多。Gemma 5 应该引入 DeepSeek 的 Engram。它能拓宽模型的世界知识，而代价只是多占用几 GB 内存或 SSD 空间。这将让模型在现实任务中表现得更好，成本却几乎可以忽略不计。继续使用 4 比特 QAT。它确实让更多人能够以很高的质量运行你们的模型，也已在实际应用中被证明效果很好，我完全支持。采用更高效的注意力机制，降低 KV 缓存的开销。可以实现类似 DeepSeek 的 Compressed Sparse Attention 2 的机制，这将大幅降低模型的 KV 缓存开销。在配备 24GB 显存的设备上运行时，这是 Gemma 4 31b 相比 Qwen 3.5 及后续模型的主要劣势之一。Gemma 5 要不要推出一个约 120b 的 MoE 模型？我知道这可能不太现实，因为它会与你们的 API 产品形成竞争，但如果你们在 Gemma 5 系列中发布一个 120b 的 MoE 模型，社区会非常高兴。改进草稿模型。如果能给草稿模型做一次小更新就好了，因为自 Gemma 4 发布以来，已经出现了许多新的推测解码技术：DSpark、DFlash 2、EAGLE-4 等。像 Gemma 4 12b 那样，通过线性投影将输入接入模型层，而不是采用传统架构来实现视觉和音频能力。线性投影似乎是一种值得研究的有趣方法，但如果效果不佳，当然也不必强求。放弃在小模型上使用 2 比特 QAT。对于小模型，就当 2 比特 QAT 不存在吧。我这里说的是 gemma-4-E2B-it-QAT-mobile 和 gemma-4-E4B-it-QAT-mobile。实际使用中，即使采用 QAT，把权重量化到 2 比特也会让这些小模型彻底变傻，实在不值得继续投入。不要以牺牲其他所有能力为代价，过度针对编程进行优化。目前几乎每家实验室都在追逐编程基准测试成绩，却在通用知识、创意写作和对细微差别的把握上退步。小模型不可能同时在所有方面都做到同类最佳，而在如此拥挤的赛道上，专注编程的模型很快就会过时。Gemma 是少数几个在非编程使用场景下仍让人感觉能力均衡的模型系列之一——请保留这一特色。大家怎么看？欢迎在下方评论，分享你的观点。