llama.cpp Metal MoE 优化
摘要
一位开发者分享了针对 llama.cpp 的 Metal 优化方案，可提升 Apple Silicon 上 IQ3_XXS 模型的解码速度，并在 GitHub 提交了拉取请求，呼吁社区参与测试。
我为 llama.cpp 做了一项 Metal 优化，能显著提升 Apple Silicon 上 IQ3_XXS 模型的解码速度：https://github.com/ggml-org/llama.cpp/pull/28086 在我的测试负载下，解码速度从约 65.6 tok/s 提升至 73.9 tok/s（tiel coder 35B A3B）。非常希望大家尝试并分享优化前后的性能数据。我即将发布后续更新，预期也会改善预填充阶段的性能。
相似文章
有人在为每个模型定制和优化llama.cpp吗？
作者提议通过剥离不必要的代码并使用AI自动化过程来为特定模型优化llama.cpp，目标是实现2倍以上的性能提升。
一个 llama.cpp PR 让 Q2_0 在 x86 CPU 上提速 3.0–3.6 倍，8B 解码从 2.39 升至 8.20 tok/s
一个 llama.cpp 拉取请求为 Q2_0 × Q8_0 点积添加了 x86 VNNI 实现，在 Bonsai 模型上实现了 3.0–3.6 倍的纯 CPU 加速，内核级逐位精确，且 token 一致性达 99.2%。
B70 推测解码重大改进 - budiony 重构 Intel XMX 矩阵引擎 · 拉取请求 #29864 · ggml-org/llama.cpp
一个针对 llama.cpp 的拉取请求重构了对英特尔 XMX 矩阵引擎的支持，大幅提升了英特尔硬件上的推测解码性能。
Llama.cpp PR 带来 8% 速度提升
一个 llama.cpp PR 将采样从 CPU 移至 GPU，在 RTX 5090 上为 Qwen3.6-35B 推理带来 8% 的 token 速度提升，在 Tesla P40 上约为 4%。
我移植了EXL3使其在Apple Silicon上良好运行 - PonyExl3
将EXL3 LLM编解码器移植到Apple Silicon上通过Metal运行，在M5 Max上实现了高预填充和生成速度（例如，~600 tok/s预填充，不同模型下17-80 tok/s生成）。