在40核 M5 Max 上的 Splash：通过调优内核为你的芯片实现解码性能提升20%

Reddit r/LocalLLaMA 工具
ai-optimization hardware-tuning developer-tool apple-silicon kernel-optimization

摘要

本文介绍了如何在 Splash 中使用 'make tune-kernels' 工具来优化40核 M5 Max 芯片上的 AI 模型解码，通过为特定硬件调优内核布局，实现高达20%的速度提升。

请注意，引擎的默认内核规则是在较小芯片（16/20核 M5 和 32核 M4 Max）上测量的，因此40核 M5 Max 运行时可能是猜测的。Splash 的代码库包含一个开发者工具，“make tune-kernels”，它可以测试你的硬件上每种可用方式运行每个量化矩阵乘法。在我的机器上，它发现“split-K”布局（每个输入行被分成四路，部分和在最后合并）对于检查草稿令牌的8行步骤要快得多。已在 Inco 上撰写报告（https://github.com/incoai/splash/issues/154）。与此同时，试试看：从源代码构建 Splash（git clone https://github.com/incoai/splash, git checkout 1.0.2, make；需要 Xcode 26+ 和 Metal 工具链），然后在空闲的 Mac 上运行 build/engine-tests/tune-kernels build/splash.metallib <你的模型文件夹> --confirm。--confirm 步骤会告诉你获胜者是否真的加速了芯片上的整个前向传播。使用你选择的模型进行修补。Swift 模型转换也在此 hugging face 上可用：https://huggingface.co/SiliconSpecies/Swift-1.5-Qwen3.8-27B-Splash
查看原文

相似文章

KFlash：新发布的 Apple Silicon 优化引擎基准测试：1.4.0 Splash（DFlash2 ~ 50 tok/s）对比 0.2 Kapitsa（KFlash ~65 tok/s），在 Qwen 3.8 27b/4b/35b 4Q 上测试 MLX(MTP) 等，测试平台为 Macbook Pro M4 Pro 48GB 2024 和 Macbook Pro M1 Pro 16GB 2021

Reddit r/LocalLLaMA

Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码（speculative decoding）方法。该方法在 M4 Pro 和 M1 Pro MacBook 上，基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试，展现出顶尖的解码吞吐量（约 65–201 tok/s）。