标签
该论文提出 Elastic Expert Routing，通过从以 k 为中心的局部离散分布中随机采样激活专家数量，平滑传统 top-k 路由的硬边界，在保持计算成本不变的前提下提升稀疏 MoE 模型在微调与从头预训练场景下的下游表现。
MiMo-V2.6-Flash-RL 是一个多模态AI模型，通过扩展强化学习实现自我改进，采用稀疏混合专家架构，总参数3090亿，上下文长度为100万令牌。
Edge0-35B-A3B-preview 是一个稀疏的MoE模型，通过流式专家卸载和量化技术，实现移动设备上的高效AI推理，以低于3 GiB的内存达到15 tok/s的性能。
Apple的Lily引擎通过利用统一内存和硬件，优化了Apple silicon上的设备端LLM推理，性能超越MLX-LM，并针对Qwen3.6-35B-A3B模型架构进行了调优。
阿里巴巴发布了Qwen3.8-Max，这是一个2.4万亿参数的稀疏MoE模型，每个token激活950亿参数，支持100万token的上下文，并具有强大的智能体能力和基准测试结果，包括自主编码数天、电路设计，以及在Terminal Bench和PaperBench上超越竞争对手。
This paper analyzes why compression statistics for LLM pruning can be reproducible yet select suboptimal endpoints, introducing information boundaries and observation fibers to model the gap. It proposes group-resolved and model-specific mask selection methods that improve worst-group perplexity across dense LLMs and OLMoE.
作者反思了 AI 模型每 token 的价格大幅下降，但实际成本保持平稳，因为更便宜的模型会被更频繁地重新运行。他们认为，重要的是每完成步骤的成本，而不是每百万 token 的成本。
本文引入专家子空间分离指数（ESSI），以解耦稀疏混合专家语言模型中的路由连贯性、候选质量以及候选与上下文之间的交互，揭示了一种一致性重叠模式：路由从共享的几何邻域中选择与 token 相关的专家，而多专家计算仍然有用。
SpecPrefetch提出了一种面向稀疏MoE模型的参数高效专家预取框架，使用轻量级适配器预测下一层专家以进行异步传输，同时保留原生路由语义。在Snapdragon 8 Elite设备上，它实现了高达20%的解码吞吐量提升，展示了在内存受限部署中的实用优势。
SKT 在 Hugging Face 上发布了 A.X K2，一个 688B 参数的稀疏 MoE 语言模型，拥有 33B 激活参数，原生采用 FP8 训练，并具备 Think/Non-Think 推理模式。
作者分享了一种降低多模型智能体循环成本的策略：使用廉价快速的执行器处理重复节点，并使用强大的规划器进行高层推理，同时分享了在OpenRouter上使用Ling-3.0-flash的经验。
Motif Technologies 发布了 Motif-3 的中期测试版检查点，这是一个大规模混合专家语言模型，总参数约 314B（激活约 13B），上下文长度 256K，并采用自定义架构如分组差分潜在注意力（GDLA），公开可用于非商业研究。
LingBot-Video是一个13B的稀疏MoE视频扩散Transformer（1.4B激活参数），通过强化学习后训练为动作条件世界模型，权重和代码已开源。它包含一个由VLM评分的物理合理性奖励，并将其自身定位为策略评估器和动作规划器，但缺少闭环机器人实验结果。
LingBot-Video是一个30B参数的视频模型，采用稀疏MoE架构，专为具身智能设计，现已开源。它在RBench上优于现有模型，训练数据来自7万+小时的具身数据。
OpenMythos 是一个基于 Claude Mythos 架构理论复现的开源项目，完整实现了 Recurrent-Depth Transformer (RDT)，支持 MLA/GQA 注意力机制和稀疏 MoE，提供从 1B 到 1T 参数的预设配置，可通过 pip 安装使用。
Mistral AI 发布了 Leanstral 1.5，这是更新的 Lean 4 形式化证明工程模型，针对自动定理证明和自动形式化进行了优化，总参数为 119B，活跃参数为 6.5B。
本文提出了SARA框架，该框架利用Jensen-Shannon散度对齐多语言输入的路由分布，以改善稀疏混合专家模型中低资源语言的专家共享。在Qwen3-30B-A3B和Phi-3.5-MoE-instruct上的实验显示在多语言基准上有改进。
The article provides a detailed explanation of Mixture of Experts (MoE) in transformers, covering routing, load balancing, and recent innovations like fine-grained experts. It also highlights the significance of Noam Shazeer's research contributions and his move from Google to OpenAI.
StepFun的Step 3.7 Flash是一款198B稀疏MoE模型，活跃参数11B，在SWE-Bench Verified上以约九分之一的成本达到Claude Opus 4.6编码性能的97%。该模型采用Advisor Mode策略，将昂贵的前沿模型调用保留给关键决策点。