我移植了EXL3使其在Apple Silicon上良好运行 - PonyExl3

Reddit r/LocalLLaMA 工具
apple-silicon metal exllamav3 llm-inference model-quantization open-source

摘要

将EXL3 LLM编解码器移植到Apple Silicon上通过Metal运行，在M5 Max上实现了高预填充和生成速度（例如，~600 tok/s预填充，不同模型下17-80 tok/s生成）。

大家好，我是Beam。在我重构了oMLX中的聊天界面后，我在自己的RTX 4090机器上试玩了turboderp的exllamav3，然后我就想为什么我不能在我M5/M1 Max上跑这个呢——于是我造了一个。 [https://github.com/beamivalice/PonyExl3](https://github.com/beamivalice/PonyExl3) 对于那些不了解Exl3的人——它是最优秀的编解码器之一，在质量和内存占用之间取得平衡，但为此需要大量计算，并且它严重依赖CUDA才能工作。现在它能在Metal上运行了，M5 Max在Qwen3.6-27B模型上可以达到约600 tok/s的预填充速度和约17 tok/s的生成速度；使用DFlash/MTP时，贪心模式下达到约38 tok/s，正常温度使用下大约20-25 tok/s。对于Qwen3.6-35B-A3B 4.00bpw模型，预填充速度高达2700 tok/s，而解码速度超过了我的RTX 4090（约50 tok/s），达到68.5 tok/s，在Eagle3贪心模式下达到80 tok/s。 那么它的质量和内存表现如何呢？看看这张由deepsweet整理的图表，我也跑了自己的测试（结果仍在仓库的txt文件中）： https://preview.redd.it/t3z3w078vd7h1.png?width=1200&format=png&auto=webp&s=e2127e9c95ea3a250c98ddcc81ec5dd5027a6370 https://preview.redd.it/avf5ja3avd7h1.png?width=1202&format=png&auto=webp&s=e60712b1f2ab80ac0851569a0ec70b34680babf1 然后我把它全部连到我的omlx上，让它生成一只北极熊野餐图——砰！27B-exl3-4.15bpw在omlx上生成了完美的北极熊。 https://preview.redd.it/g3qruvbzvd7h1.png?width=2750&format=png&auto=webp&s=1fc19170960ef62839ceee503ff6b4df12ec10ef 干杯！
查看原文

相似文章

llama.cpp Metal MoE 优化

Reddit r/LocalLLaMA

一位开发者分享了针对 llama.cpp 的 Metal 优化方案，可提升 Apple Silicon 上 IQ3_XXS 模型的解码速度，并在 GitHub 提交了拉取请求，呼吁社区参与测试。

Metal-Sci：用于 Apple Silicon 上 LLM 驱动演化内核搜索的科学计算基准

Hugging Face Daily Papers

Metal-Sci 推出了一项包含 10 个任务的基准测试，用于优化 Apple Silicon 上的科学计算内核，并配套了由大语言模型驱动的演化搜索框架。该研究评估了 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT 5.5 等模型，在实现显著加速的同时，利用分布外测试来捕获静默的性能退化问题。