Qwen4的架构提前到来,从125B参数中激活6B参数(3分钟阅读)

TLDR AI 模型

摘要

阿里巴巴的Qwen团队发布了Qwen3.8-Flash-Next,这是Qwen4架构的开源预览版,仅从125B参数中激活6B参数,以降低推理成本并解决硬件限制。

该模型没有增加专家,而是添加了51B参数作为独立的嵌入层,通过两到三个字符的片段进行索引。
查看原文
查看缓存全文

缓存时间: 2026/08/27 15:52

# Qwen4架构提前亮相:125B参数中仅激活6B 来源:https://thenextweb.com/news/qwen38-flash-next-qwen4-architecture-open-licence-ai-act 阿里巴巴的通义千问团队发布了Qwen3.8-Flash-Next——这是其计划用于Qwen4架构的开源权重预览版本。该模型拥有125B参数,但在处理每个token时仅激活6B参数。其许可证可能不符合欧盟《人工智能法案》的开源豁免条款。 通义千问团队公布了其构建Qwen4的架构设计(https://www.unite.ai/qwen3-8-flash-next-previews-qwen4-architecture-with-6b-active-parameters/)。Qwen3.8-Flash-Next包含125B参数,但在生成每个token时仅激活其中的6B。 这一架构主张的核心在于成本优化而非能力提升。团队表示,他们关注的是在超长上下文智能体任务成为常规工作负载时,不同架构选择对推理成本的影响。 与自研前代模型的对比显示:Qwen3.7-Plus拥有397B参数并激活17B,而新模型只需约三分之一的活跃计算资源即可运行。 四项架构改进中有三项属于常规技术升级:新型稀疏注意力机制采用微区块处理而非逐token选择,门控残差机制控制层间信息传递,训练方案完全移除了批量大小预热过程。 第四项改进尤为特殊——模型通过附加51B参数构建独立嵌入层,由双字符和三字符片段索引。团队表示该设计能降低计算负载,更易于在内存受限的加速器上部署。 最后这个表述值得深思。为内存不足的加速器设计架构,通常是无法采购顶级芯片时的应对策略——这正是出口管制为中国实验室带来的现实处境。 所有技术数据均来自阿里巴巴自身的测试结果。TNW本月曾指出,该公司宣称Qwen3.8是“全球第二优模型”却未提供实证(https://thenextweb.com/news/alibaba-qwen38-second-only-fable5-open-weight),本次测试数据同样仅来自团队自建评测框架。 部分设计选择显得异常直白:技术卡片明确注明“人类终极考试”的评分由GPT-4o完成而非采用基准测试原生评分器——这属于信息披露而非中立评估。 许可证条款则成为欧洲监管机构的关注焦点。这些权重通过qwen社区许可证托管于Hugging Face平台,而TNW在8月7日报道中指出阿里巴巴正计划向其最大商业用户收费(https://thenextweb.com/news/alibaba-charge-big-users-open-source-qwen)。 欧盟《人工智能法案》将这一区别视为关键条款。第53条第2款规定,免费开源许可证的模型可豁免两项文档义务,而序言第103条明确指出:对价提供或商业化的组件不应获得豁免。 欧洲企业并未等待最终裁决。汤森路透已基于Qwen构建其模型(https://thenextweb.com/news/thomson-reuters-thomson-model-qwen-claude-cocounsel),所有采用该架构的用户都将承受许可证条款变动的潜在影响。 发布于2026年8月26日 - 19:55 UTC [返回顶部](https://thenextweb.com/news/qwen38-flash-next-qwen4-architecture-open-licence-ai-act#)

相似文章

Qwen3.8-Flash-Next

Simon Willison's Blog

Qwen 发布了 Qwen3.8-Flash-Next,这是一款开放权重的多模态 MoE 模型,拥有 125B tokens,但只有 6B 活跃参数,提供了性能提升,并作为 Qwen4 架构的早期预览。

Qwen/Qwen3.8-Flash-Next

Hugging Face Models Trending

发布 Qwen3.8-Flash-Next,一款开放权重的 AI 模型,引入混合注意力(Hybrid Attention)与 QSA 以及门控残差(Gated Residual)等架构创新,提升效率和可扩展性,预览未来的 Qwen4 架构。

Qwen/Qwen3.6-35B-A3B-FP8

Hugging Face Models Trending

阿里巴巴发布了Qwen3.6-35B-A3B-FP8,这是Qwen3.6的开源权重量化变体,拥有35B参数,通过MoE激活3B,具有改进的智能编码能力和保持思维链的迭代开发特性。