标签
Cohere 的一篇新论文表明，投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能良好运行，因为相邻 token 共享 20%–45% 的专家（而此前预期仅为 4%–12%），使得验证成本远低于此前工作的预测。该研究在 H100 上测试了 10 个 MoE 模型。
论文提出了 Library of Layers (LoL)，一种在推理时动态重排其层的 Transformer 架构，统一了稠密（dense）、深度递归（depth-recurrent）与 MoE 等基线在参数复用与稀疏性之间的权衡，并在推理、多语言和安全任务上实现了可解释的路由。
ISTA DASLab 发布了 DeepSeek-V4.1-Flash-1017 的 Coder 版本，这是一个 763B 稀疏 MoE 模型，通过 GSQ 量化和基于 RCO 的专家剪枝（384 个专家中保留 192 个）压缩到每个 transformer 参数约 1 bit，在 72.1 GB 的 GGUF 中保留了 LiveCodeBench v6 98.7% 和 SWE-bench Verified 94.8% 的性能。
前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动，指出架构红利基本被 DeepSeek-V3 那一代吃完，细粒度 MoE 和线性注意力是最扎实的进步，而 Muon 等训练方法与推理 kernel 的影响常被低估。
本文提出结构保持的专家剪枝框架，通过 PEEP 与 DCEP 两种方法利用专家输出的结构冗余性对稀疏 MoE 大模型进行剪枝，在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上超越现有基线。
一篇研究论文，将长上下文扩散的成本表述为双重预算——注意力图的边数和激活的专家数——提出了 DualBudget 稀疏专家配置，给出了图规模与计算量的界限，并通过评估展示了在最高 16K 上下文长度下的性能提升，以及相较于 DiffuSeq 降低 20% 的成本。
本文提出「结构性记忆」这一新型漏洞，发现微调后的 MoE 大模型会记忆其内部专家路由路径，攻击者仅凭路由与输出日志即可恢复这些路径，传统成员推断指标因而失效，并提出复合指标来检测被记忆的路由结构。
JetBrains 发布了 Mellum2.1-12B-A2.5B-Thinking-MTP，这是一款拥有 120 亿参数（激活参数为 25 亿）的 MoE 思考型编程模型，配备多 token 预测头，用于在 vLLM 中进行推测解码。此次更新主要侧重于在真实代码仓库环境中进行强化学习后训练，以提升模型执行智能体软件工程任务的能力。
一篇帖子分享了 Hugging Face 上的 Groot MoE 模型家族（包含 19B、65B、238B 和 280B 版本），声称 19B 模型的表现优于 Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B，同时回答更简短；后续编辑补充称，这些模型似乎是基于 REAP 对 DeepSeek/Qwen 模型进行改造而来的。
LRMoE 是一种内存感知的 MoE 训练系统，可在内存受限的 GPU 节点上联合重新校准反向传播需求并均衡保留的工作负载。与 SYMI 相比，LRMoE 在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上将 MoE 层的累计训练时间缩短了 21.2-44.8%。
Mistral Large 4（内部代号 Le Chonk）现已在 Hugging Face Hub 发布——这是一款多模态、多语言的混合专家（MoE）模型，总参数量达 1T、激活参数 49B，支持 1M token 上下文窗口，并在 transformers、vLLM 和 llama.cpp 中获得首日支持，同时提供量化 GGUF 版本。
Mistral 发布 Mistral Large 4（Le Chonk）：一个 1 万亿参数、49B 激活参数的原生多模态 Mixture-of-Experts 模型，具备 1M 上下文窗口、可配置推理力度、160+ 语言支持，并以 Mistral Ecosystem Open-Weight License 开源权重发布。
一篇技术博客深入解析 Meta 于 10 月 15 日发布的开源模型 Muse Spark Open（816B 总参数、42B 激活参数的 MoE 架构），并介绍 Daniel Gross 发起的 10 万美元 Open Kernel Challenge，邀请开发者在 H200 上优化其推理内核与 SGLang 服务性能。
该论文指出，权重归一化（WN）训练的收益主要源于其诱导出的有效学习率（ELR）轨迹，而非归一化本身，并据此提出 AIR（仿射平方根倒数衰减）调度策略。在 1280 亿词元的混合专家模型（MoE）预训练实验中，AIR 在训练损失、下游性能和超参数鲁棒性方面均优于余弦退火等调度方案。
Hugging Face 的博客介绍 Mistral Large 4（代号 Le Chonk），这是 Mistral 推出的多模态、多语言、混合专家（MoE）模型，具备约 1T 总参数（49B 激活参数）和 1M token 上下文窗口，在网络安全、编码代理和多模态任务上表现出色。
NVIDIA 发布了 Nemotron 3.5 Transcribe 30B-A4B，这是一款开源权重的离线语音与音频转录模型，支持 40 种语言，采用混合 MoE 架构，激活参数约 43 亿，可处理长达一小时的录音。
DiffuSpace 发布了 Clover-35B-A3B-Preview，这是一款开源的块扩散语言模型，采用 350 亿参数的 MoE 骨干网络（约 30 亿激活参数），支持 128K 上下文，在 GB300 上的生成速度达 680 token/秒，在 SWE-bench Verified 上得分为 73.6%，并采用 Apache 2.0 许可证。
一位独立研究者从零训练了 Apex-3，一个 21B 参数的 MoE 模型（3.36B 激活参数），使用 70B tokens，发布了稳定的检查点并分享了训练日志中涌现行为的证据。最明确的发现是在上下文学习中约 1.3B-1.5B tokens 处出现了一个尖锐的相变，而算术能力的提升虽然在精确匹配上看起来是突变的，但在概率上是连续的。
一位爱好者详细记录了为期两天的调优过程：使用单张 Tesla P40 24GB（PCIe x1）运行 35B-A3B Ornith 1.5 MoE 模型，支持完整的 262k 上下文，在短提示下达到约 60 token/秒，在 100k 上下文深度下达到约 30 token/秒，同时权重量化不低于 Q4，KV 缓存量化不低于 q8。这些成果通过禁用 ECC、采用 int8 dp4a 注意力，以及对训练过的 MTP 草稿头进行检查实现。
Google Research 推出了一种用于大语言模型的“睡眠框架”，通过交替进行活跃的清醒阶段和离线的睡眠阶段，将短期上下文知识巩固到稳定的长期参数中，从而缓解灾难性遗忘，并能够保留多达 1000 万个词元的长上下文知识。