基于 llama.cpp 的专家扩展

Reddit r/LocalLLaMA 2026/09/06 18:27 工具

llama-cpp mixture-of-experts moe expert-expansion inference

摘要

一位开发者构建了 llama.cpp 的自定义分支，为混合专家（MoE）模型实现了专家扩展功能，已在 Metal 上完成测试，现寻求跨平台反馈。

借助 Glm 5.3 flash，我构建了 llama.cpp 的自定义分支，用于支持 MOE 模型的专家扩展。该版本目前仅在 Metal 上测试过，效果优于我的 DS4 版本。我希望能获得来自其他平台及不同模型的反馈。moex-expansion

查看原文

相似文章

Reddit r/LocalLLaMA

am17an 提交的 llama.cpp 拉取请求（#29184）将共享专家（shared experts）融合进 MMVQ（矩阵矩阵向量量化）CUDA 核心中，优化了 GPU 上混合专家（mixture-of-experts）模型的推理性能。

Reddit r/LocalLLaMA

一位开发者创建了llama.cpp的实验性分支，该分支仅将已使用的专家（expert）而非完整层卸载到显存，从而在RTX 2060 12GB等显存有限的GPU上为MoE模型带来了速度提升。作者正在寻找测试者，以验证其在其他Nvidia GPU上的性能表现。

Reddit r/LocalLLaMA

此拉取请求为llama.cpp框架添加了Maple 20B-A1B三元混合专家架构的CPU推理支持。

Reddit r/LocalLLaMA

llama.cpp 的一个非官方分支为混合专家模型引入了持久化的专家池，优化以减少在 16GB AMD gfx906 GPU 上通过 PCIe 的专家重新拷贝，从而提升大上下文长度的解码吞吐量。

arXiv cs.CL

一篇关于LLM中混合专家架构的技术综述，沿着专家粒度、拓扑、路由、负载均衡和执行来组织演进，并提出了架构里程碑和控制平面的互补视角。