moe

Moonshot AI 宣布推出 Kimi K3.1 Pro，这是其能力最强的 3T 级开放权重 MoE 模型，支持 100 万 token 的上下文窗口，Modal 将于本周在该模型发布首日提供支持。

tandem.cpp 是一套针对 llama.cpp 的补丁，通过将高频使用的专家保留在 GPU 上、其余专家交由 CPU 处理，实现对超出显存容量的 MoE 模型的卸载运行。在单张 RTX 4090 上运行 Qwen3.8-Flash-Next 时，速度达到 97.3 tok/s（是 llama.cpp 的 3.3 倍），对其他 MoE 模型也有性能提升。

一个名为 burner22/numbat 的 Hugging Face 仓库声称包含 Anthropic 内部训练 Checkpoint，规模达 14T 参数、114 层、1224 个 MoE 专家，疑似史上最大闭源模型权重泄露之一。

一位用户分享了自己专为 MoE 模型打造的 AI 工作站配置，搭载 AMD EPYC 7452、256GB DDR4 内存以及 Radeon AI PRO R9700 32GB 显卡，造价约为 NVIDIA DGX Spark 的一半，已准备好开始折腾 Qwen4。

Modal 宣布为后训练 Reflection 的 Beam 模型提供一流的支持，并发布了 Modal Dojo——一个用于在 Modal 上进行生产级 LLM 训练（包括强化学习）的开源库与技能包，其中包含在 GSM8K 上训练 Qwen3.5-4B 的示例。

@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型（MoE）推理的技术，涵盖优化内核、FP8 量化和多 token 预测，以提升每秒 token 吞吐量。

Prime Intellect 让 DeepSeek 的 MegaMoE 内核变得可训练，通过在 MoE 层融合计算与通信，在 Blackwell 和 Hopper GPU 上实现了比 TorchTitan 最高快 55% 的 MoE 训练性能，并支持 BF16、MXFP8 和 FP8 精度。

这是 NVIDIA Nemotron-3.5-Transcribe-30B-A4B 语音大语言模型的一个衍生版本，采用 REAP 剪枝，无需重新训练，将模型体积从 67.5GB 缩减至 10GB（4 位量化），同时将词错误率（WER）保持在 5.16%，而教师模型为 4.12%；在 H200 上使用 vLLM 运行时，其单流吞吐量提升了 27%。

一篇技术博客深入解析 Meta 于 10 月 15 日发布的开源模型 Muse Spark Open（816B 总参数、42B 激活参数的 MoE 架构），并介绍 Daniel Gross 发起的 10 万美元 Open Kernel Challenge，邀请开发者在 H200 上优化其推理内核与 SGLang 服务性能。

一篇社区帖子，列出了对谷歌即将推出的 Gemma 5 的功能诉求，包括采用循环 Transformer 来增强推理能力、引入 DeepSeek 的 Engram 记忆机制、通过压缩稀疏注意力降低 KV 缓存成本、推出可能约有 1200 亿参数的 MoE 变体、改进草稿模型，以及让 Gemma 在编程基准测试之外也保持全面的能力。

一位社区成员发布了 Groot 系列，这是一组包含四个 MoE 模型的家族，参数规模从 19B 到 280B，基准测试表现亮眼：其中 19B 模型可在 16GB 显卡上运行 128K 上下文，280B 模型以低成本在 SWE-bench Pro 上取得 63.47 分。

论文提出开源训练配方 ALTO，用于在 MXFP4 微缩放格式下训练 20B 参数 MoE 模型 GPT-OSS-20B，通过混合块量化、随机 Hadamard 变换、随机舍入与权重去振荡方案，将 FP4 与 BF16 的验证损失差距缩小至 0.007，收敛开销从 +20% 降至 +5%，并报告了若干无效尝试的负面结果。

OrcaRouter 发布了 DeepSeek-V4.1-Flash-1017 的 abliterated（移除拒绝）GGUF 版本，可在单机 236GB 内存上通过 llama.cpp 本地运行这个 763B MoE 模型，其中 197B 参数的 Engram n-gram 记忆表按需从 SSD 流式读取。

蚂蚁集团与 vLLM 社区宣布开源 Humming，这是一个面向量化推理的通用高性能 Kernel 库，支持广泛的 GPU 覆盖和多种量化格式，性能超越 Marlin、FlashInfer 和 DeepGEMM 等现有实现。

llama.cpp 的 PR #29887 新增了一个利用访问局部性的 LRU MoE 专家缓存，将 Qwen3.8-Flash-Next（94GB）在 RTX 5090 上的运行速度提升至 67.8 token/秒（原来的 2.2 倍），几天后，SGLang 也合并了类似的“分页专家”功能。

蚂蚁集团旗下 inclusionAI 开源了 Ming-3.0-tts 语音合成模型，在 Artificial Analysis 十月榜单上发音稳健性以 93.2% 拿下总榜第一，可控音色为开源第一，支持音色克隆、自然语言指令控制、14 种副语言标签及四川话、粤语等多方言多语言合成。

DeepSeek 开源了 DeepInfer——支撑其大规模生产服务的高性能推理框架，具备优化内核、MoE 专家并行、投机解码、批不变推理等特性，并支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

这是 DeepSeek-V4.1-Flash-1017 的 Hugging Face 发布版本，通过 abliteration（消融术）移除了拒绝行为，以原生 FP8（e4m3）权重发布，并采用 FP4 MoE 专家权重，同时保留了视觉、视频、工具调用、推理分级和 1M token 上下文。模型卡片强调该版本并非量化衍生品、并非聊天模板越狱、也并非基于 LoRA/RLHF —— 被编辑的权重就是模型本身。

一位开发者打造了 Red Curtain，让 Fish Audio 的 Drama 3 文本转语音模型（35B MoE，约 3B 激活参数）在 16 GB 的 Radeon RX 9070 上运行，尽管官方要求 48 GB 的 NVIDIA 显卡。其方法是将 FP8 专家层卸载到系统内存，并将激活的专家层缓存在 GPU 上。该工具自带支持声音克隆和多说话人剧本的 Web UI，作者还分享了调优技巧以及一个已知的首行静音问题。

腾讯混元团队成员公开了 Hy4 Preview（770B 参数 MoE）的极致量化方案，通过 STQ1_0 编码与混合精度分配将约 1.5TB 权重压缩至 214 GiB，并在 llama.cpp 中实现接近 IQ1_M 的推理速度。