Qwen 4 架构：我们了解多少？

Reddit r/LocalLLaMA 新闻
ai-model architecture-speculation linear-attention multi-head-latent-attention deepseek qwen-4

摘要

作者推测 Qwen 4 的可能架构，并基于对 Deepseek 的逆向工程讨论了潜在设计，例如嵌入卸载的线性注意力或多头潜在注意力混合架构。

我最看好嵌入卸载的线性注意力，其中 51b 的 n-gram 追踪语义和上下文，类似于 3.8，但重新整合了现实世界知识的损失。否则？稀疏全注意力与密集路由？当 n-gram 卡住时，6b 的活动路由到'重'层。场景 3：多头潜在注意力（MLA）混合架构（基于逆向工程 Deepseek），动态压缩 KV，并按需解压嵌入。
查看原文

相似文章

Qwen/Qwen3.8-Flash-Next

Hugging Face Models Trending

发布 Qwen3.8-Flash-Next，一款开放权重的 AI 模型，引入混合注意力（Hybrid Attention）与 QSA 以及门控残差（Gated Residual）等架构创新，提升效率和可扩展性，预览未来的 Qwen4 架构。

Qwen4!

Reddit r/LocalLLaMA

Qwen4 已发布，qwen-code 仓库中的一个 GitHub PR 透露了一个 1200 亿参数模型的迹象。