decode-speedup

标签

#decode-speedup

llama.cpp Metal MoE 优化

Reddit r/LocalLLaMA ↗ · 2026-09-01

一位开发者分享了针对 llama.cpp 的 Metal 优化方案，可提升 Apple Silicon 上 IQ3_XXS 模型的解码速度，并在 GitHub 提交了拉取请求，呼吁社区参与测试。

0 人收藏 0 人点赞