一种稀疏 MoE 模型推理架构：通过分层与线性衰减增加激活参数量，无需训练或微调即可实现精简推理 [p]
摘要
一种 llama.cpp 实现，可在推理阶段通过自适应阈值与分层线性衰减将 MoE 专家路由扩展至原生 top-K 之外，无需重新训练或微调。
我将 MoE 专家扩展移植到了 llama.cpp 🚀 运行 MoE 模型时可路由比原生 top-K 更多的专家（8→x），支持自适应阈值、99→50% 影响力衰减及层范围设定。纯运行时实现，兼容所有后端。已在 Qwen 3.6 35B A4B+ 上测试 https://github.com/vagrillo/llama.cpp/blob/moe-expansion/docs/moe-expansion.md
相似文章
多层级MoE缓存
讨论MoE模型的多层级缓存策略，通过将频繁激活的专家保留在GPU上来提升推理速度，参考了PowerInfer和llama.cpp分支等现有实现。
通过增加MOE（Qwen 35B A4B+）中每个token的活跃参数，推理token减少8.5%——无需训练或微调！
一篇论文介绍了一种针对稀疏MoE模型的推理时优化方法，通过调整后期transformer层中的专家选择，在无需重新训练的情况下，将推理token减少8.5%，延迟降低10.9%，同时保持准确性。
FlexMoE: 面向MoE语言模型的一体通用嵌套式专家内剪枝
FlexMoE提出了一种面向MoE语言模型的一体通用嵌套式专家内部剪枝方法，能够在单次训练中生成多个可部署的子网络，且性能损失极小。
多小时的llama.cpp优化实验：针对Qwen MoE模型的补丁、基准测试与复现指南
本文介绍了一项多小时的调查，旨在使用llama.cpp加速Qwen MoE模型的本地推理，包括实验结果、补丁、基准测试和复现指南，其中一些工作负载显示出显著的性能提升。
粘性路由：训练MoE模型以实现内存高效推理
StickyMoE提出了一种可微的路由一致性损失函数，鼓励相邻token在MoE模型中激活相同的专家，从而在边缘设备推理过程中将专家交换开销和缓存未命中率降低高达3.92倍，同时改善困惑度。