Qwen3.8-27B在M5 Max MacBook Pro上实现144 tok/s速度

Reddit r/LocalLLaMA 工具
open-source inference-engine apple-silicon local-ai performance qwen

摘要

Inco Splash是一款针对Apple silicon优化的开源推理引擎，在M系列MacBook上运行Qwen3.8-27B等AI模型时提供了显著的速度提升。

介绍Inco Splash，这是一款围绕模型和Apple silicon构建的开源推理引擎。解码速度最高可达Ollama的3倍，oMLX的2倍，当智能体分发到子智能体时几乎可达4倍。要求：M3或更新机型，macOS 26.4+，36 GB内存。只需一条命令即可开始：brew install incoai/tap/splash splash serve --model incoai/Qwen3.8-27B-Splash。这就是全部设置。将你的智能体指向它，可与Claude Code、OpenCode、Codex或Hermes配合使用。更喜欢应用程序？它也已在LM Studio中提供。获取最新LM Studio Bionic版本：lmstudio.ai。设置 > 运行时，下载Splash，然后下载模型。相同的引擎，集成在应用中，用于在Mac上进行本地智能体工作。博客：inco.ai/blog/splash
查看原文

相似文章

Qwen3.8-27B：R9700 上 159 tok/s，Strix Halo 上 64 tok/s

Reddit r/LocalLLaMA

LemonSeed Studio 0.5.8 通过 eGPU（Thunderbolt 外壳中的 AMD R9700）在 iPadOS 上实现了端侧 LLM 推理，使用统一的 LemonSeed Engine 在 iPadOS、macOS 和 Linux 上运行 Qwen3.8-27B Q4，配合 DFlash2 投机解码达到约 159 tok/s。