标签
提出TEXAS方法，用于混合专家大语言模型的下游适配，通过正确性条件激活发现任务相关专家，并应用词元级监督分配，在多个基准上提升性能。
本文提出了贡献对比（CoCo），一种新颖的响应级解释方法，用于混合专家奖励模型，相比基于路由权重的方法，能更忠实地捕捉路由和偏好行为。
EntropyMoE 为无分词器大语言模型引入了一种熵感知的专家混合架构，使用动态字节补丁作为路由单元，以实现稀疏条件计算。实验表明，在保持下游精度的同时，它在基线中取得了最低的留出法每字节比特数（bits-per-byte）。
阿里巴巴发布了Qwen3.8-Max，这是一个2.4万亿参数的稀疏MoE模型，每个token激活950亿参数，支持100万token的上下文，并具有强大的智能体能力和基准测试结果，包括自主编码数天、电路设计，以及在Terminal Bench和PaperBench上超越竞争对手。
Presents an emerging retail portfolio management application that uses personalized, tax-aware reinforcement learning with natural language goal input, featuring a three-phase pipeline and integration with live brokerage APIs.
来自Meta FAIR、Reality Labs和牛津大学的一项关于多模态预训练的系统性研究，揭示了模态之间的不对称知识流动、协同与竞争动态、早期统一的益处，以及通过13.5B MoE模型验证的高效训练方案。
本文介绍了MESH，一种用于混合专家（MoE）训练的内存高效Sinkhorn优化器，它在不存储完整优化器状态的情况下恢复时间动量，相比AdamW将内存减少62.5%，同时保持有竞争力的评估损失。
本文介绍了基于肘部的路由，这是一种针对MoE模型的免训练推理时方法，通过检测路由器概率分布中的肘部点，动态调整每个令牌的活跃专家数量，在保持准确率的同时实现了平均5.3%的延迟降低。
本文介绍了MSRT，一个采用资源感知的语音编码器混合体（MoSE）的框架，以克服多对多语音到文本翻译中的多语言诅咒。该4B参数模型在45种语言上取得了最先进的结果，特别是在每种语言仅有10小时配对数据的情况下显著改善了低资源语音翻译。
LG AI Research presents K-EXAONE 2.0, a 750B-parameter MoE foundation model upcycled from K-EXAONE, supporting 256K context and six languages, with self-speculative decoding for efficient inference.
This paper introduces SpecDrop, a parameter-free category-conditioned routing scheme for modular networks, showing that on vision tasks it achieves competitive accuracy while on fuzzy language partitions it reduces to no-routing baselines, suggesting granularity alignment matters more than router design.
论文提出C²MOE，一种基于一致性与互补性引导的混合专家框架，用于对话中的不完整多模态情感识别，利用信息论分解在模态缺失时提高鲁棒性。
DyPES-VLA是一种跨具身VLA模型，通过未来预测学习共享动力学先验，并使用具身特定的混合专家（MoE）动作头在机器人原生动作空间中控制机器人，在LIBERO、RoboCasa和RoboTwin基准上取得了最先进的结果。
Cursor开源了Mixture-of-Kittens (MoK)，这是一个面向NVIDIA Blackwell GPU的确定性MoE训练megakernel，它融合了计算与通信，相比基线实现最高可提供2.37倍加速。
本文提出MoEGen，一种参数高效的微调框架，利用专家混合技术通过专家码和轻量级超网络生成实例自适应的LoRA更新，在不针对每个专家存储独立适配器的情况下提升了常识推理基准的性能。
AcceptMoE is a verifier-side expert selection method for speculative decoding of MoE LLMs, which reduces expert-weight traffic and improves throughput by up to 2.06x under expert offloading with minimal accuracy loss.
本文系统性地探索了多模态预训练的物理机制，揭示了知识在模态之间如何流动、协同与竞争的条件、早期统一的优势，以及在13.5B MoE模型上验证的高效预训练配方。
K-EXAONE 2.0 是 LG AI Research 推出的开源权重多语言 MoE 基础模型，总参数达 750B，激活参数为 37B，支持 10 种语言和 256K 上下文，在智能体编码、长上下文理解和安全性方面均有显著提升。
Cursor 正在开源 Mixture-of-Kittens (MoK)，这是一个针对 NVIDIA NVL72 的融合式 MoE 训练巨型内核，其运行速度比最强的公开基线快达 2.37 倍。
InclusionAI 在 Hugging Face 上发布了 Ling-3.0-flash 模型的权重，采用 MIT 许可，包含 BF16 和官方 FP8 版本。该模型使用细粒度 MoE 架构，有 512 个专家，每个 token 激活 8 个，总参数 127.5B，激活参数 5.1B。