标签
一项实测对比，测试了四款本地 LLM 推理引擎（oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1、MTPLX 2.12.2）在 36 GB M3 Max MacBook Pro 上的表现，结果显示 Rapid-MLX 在 Qwen3.6-35B-A3B 上最快（约 110 tok/s），而 Splash 在稠密模型 Qwen3.8-27B 上最快（通过投机解码达到约 31.7 tok/s）。
一位用户分享了从 M2 Pro MacBook 升级到 128GB Mac Studio 后的体验：可以同时运行十几个 Claude 编码会话，认为这台机器非常适合重负载 AI 工作，不会再为了重度任务买回 MacBook Pro。
一位开发者将 antirez 的 ds4（DwarfStar）推理引擎精简为仅支持 Metal 的 Qwen3.8 Flash Next 版本，代码量从 8.5 万行缩减到 4.5 万行，解码速度提升约 10%，且输出逐位一致；同时他还创建了一个可复用的工具仓库 StarForge，用于维护此类 fork。
一段演示视频展示了 Qwen3.8-Flash-Next-MLX-oQ8-MTP 模型通过 tensorfold 在 Apple M3 Ultra 上以约 80 token/s 的速度运行，作者建议尽可能使用最高档的量化以获得更好的质量和更少的错误。
TensorFold 0.6.2 是一款 Apache 2.0 开源 LLM 推理引擎，声称在 Apple Silicon 上的 token 吞吐量超过 MLX 的两倍（M3 Ultra 上为 61 vs 27 tok/s），采用多 token 预测的投机解码技术，支持并发并行请求以及兼容 OpenAI 的 API。
一位爱好者制作了一个 llama.cpp 分支版本，通过 USB-C 将模型层从 24 GB MacBook 流式传输到 iPhone 17 Pro Max，使 Qwen 3.8 27B 的预填充吞吐提升 29–44%，并在超长上下文场景下将多达约 5.7 GB 的 KV cache 卸载到手机的 GPU 和 Neural Engine 上。代码和基准测试脚本已发布在 GitHub 上。
Blenny 是一款免费的开源菜单栏整理工具，适用于运行 macOS 27 的 Apple silicon Mac，用户可以在无需移动指针或请求屏幕录制权限的情况下，对菜单栏应用进行保留、隐藏和重新排序，支持草稿/应用/撤销操作。该项目采用 Apache-2.0 许可证，已在 Product Hunt 上发布。
一篇详细的技术文章，讲述如何在 M4 Mac mini 上启动主线 Linux，克服新引入且强制启用的 SPTM（安全页表监控器）——它破坏了现有的基于 m1n1 虚拟机管理程序的工作流程，并让 SoC 启动到足以通过串口控制台进行调试的程度。作者对 Asahi Linux 团队表示感谢，并记录了被锁定的 GXF/RVBAR 寄存器以及早期 Linux 启动的进展。
作者发布 Slipstream——一款针对 Apple Silicon 的 C++ Metal 推理引擎，支持原生 SSD 专家流式加载与投机草稿解码，可在 64GB Mac 上以 41–52 tok/s 运行 95.5 GiB 的 Qwen3.8-Flash-Next 模型，比 llama.cpp 快 1.76 倍，且 130k 长上下文下速度不衰减。
一位用户分享了 Dwarfstar 的早期使用体验。该工具针对本地运行大语言模型提供定制化的量化技术，用户在配备 96GB 内存的 M3 Ultra Mac Studio 上运行 Qwen3-8B 时，反馈速度很快，且仍有充足的内存余量。
一项关于在 Apple silicon 上运行模型时使用哪些 MLX 引擎的社区投票，目前公布了前 15 名的结果，投票通道仍然开放，欢迎帮助凑满 1000 票。
一位用户报告称，开源推理引擎 TensorFold 在 M5 Pro Mac mini 上运行 4-bit 的 Qwen3.8-27B，并配合 DFlash2 草稿模型，可达 40-60 tok/s，超越 MTPLX，性能媲美 RTX 3090 Ti。这凸显了 Apple Silicon 上本地 LLM 推理性能的快速提升。
NoteWorthy 是一款新推出的 AI 笔记应用，已在 Product Hunt 上线。它完全在设备本地运行，支持 iPhone、iPad 和 Mac，可自动为笔记分类并生成摘要，所有数据都不会离开设备，无需注册账号，也无需付费订阅。
一位开发者创建了一个名为 apple-llm 的库，使得苹果在 macOS 中内置的本地大语言模型能轻松地从 Node 和 Python 中使用，专注于隐私和特定任务，如结构化数据提取和摘要。
MoEspresso 3 是一个推理引擎，在配备32GB RAM的2021款M1 Max上，为Qwen3.8-Flash-Next模型实现了每秒12-15个解码token的速度。它采用Cache-Prior等技术优化性能，并在基准测试中超越了部分托管解决方案。
Splash 1.1.0 已发布，支持 GGUF 量化、MLX 导入以及针对 Apple Silicon 优化的内核，从而实现高速高效的本地 AI 推理。
本文详细介绍了将 Kev-0.8B 模型（Qwen3.5 变体）移植到 Core ML 的过程，通过基准测试展示了在 Apple Silicon 设备上推理速度和内存效率的显著提升。
本文介绍了如何在 Splash 中使用 'make tune-kernels' 工具来优化40核 M5 Max 芯片上的 AI 模型解码，通过为特定硬件调优内核布局，实现高达20%的速度提升。
WattMate 是一款 Mac 菜单栏应用，它可以显示当前哪个应用正在以多少瓦的功率消耗电池，并估算退出该应用后可节省的分钟数，随后在退出后测量实际的功耗变化。该应用需要 Apple 芯片和 macOS 14 及以上版本。
一条推文批评了MLX的优化，指出Apple存在软件问题而非硬件问题，这是基于M5 Ultra Macs的性能测试得出的。