moE

InclusionAI introduces Ling-3.0-tiny, a 7.9B-parameter hybrid reasoning MoE model with only 1.3B active parameters per token, optimized for efficient local and edge deployment.

inclusionAI 发布了 Ling-3.0-flash，一款原生混合推理模型，总参数量124B，激活参数量5.1B，采用混合线性注意力架构（KDA+MLA）与稀疏MoE。其性能与上一代1T级模型 Ring-2.6-1T 相当或更优，同时计算效率大幅提升，并内置智能体与长上下文优化。

阿里巴巴发布 Qwen3.8-Max，一个 2.4T 参数的 MoE 前沿模型，开放权重将于下周推出，声称自主运行16天，成本显著低于 GPT-5.6 Sol 和 Claude Fable 5。

KAT-Coder-V2.5-Dev 是一个开放权重的 MoE 编码模型，总参数为 35B（3B 激活），通过 SFT 和 RL 训练在代理编码基准测试上取得了最先进的结果。

一份详细的指南，介绍如何跨4个NVIDIA DGX Spark节点运行未剪枝的GLM-5.2模型（744B参数，256个专家），支持200K上下文，总吞吐量高达60.5 tok/s。包含性能基准测试、致谢和补丁。

openPangu-2.0-Flash 是一个拥有920亿参数（其中60亿激活参数）的MoE模型，基于昇腾训练，支持512k上下文长度并具备快速思考能力。它在推理和编码基准测试上表现强劲，采用了MLA注意力及多令牌预测等架构创新。

本文探讨了在预训练阶段压缩大规模混合专家（MoE）模型的结构化剪枝和知识蒸馏技术。研究表明，渐进式剪枝以及结合多标记预测蒸馏等策略，能够提升下游任务的性能。例如，通过将Qwen3-Next-80A3B压缩为更高效的23A2B模型，展示了这一方法的有效性。