mlx

一位用户询问，Gemma 4 E4B 是否仍然是最佳的小型多模态模型（参数少于 8B／内存占用低于 6GB），适合通过 MLX 在 Mac 上运行支持工具调用的本地个人助理，并提到尝试 Ling 3.0 tiny、LFM 系列模型以及 Qwen 3.5 4B/9B 均未成功。

作者认为，64GB 内存不再是本地大语言模型的“死区”——在 M4 Max 上运行 Qwen3.8 27B 进行智能体编程时，键值缓存和提示词缓存使 64GB 恰好成为最佳配置，打破了此前认为这一容量定位尴尬的共识。

开源项目 ai-phone 让 Mac 直接接管真实电话线路，所有语音识别、大模型推理和语音合成都在本地完成，通话数据不出机器，支持实时打断和编码智能体通过 CLI 编排通话。

Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码（speculative decoding）方法。该方法在 M4 Pro 和 M1 Pro MacBook 上，基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试，展现出顶尖的解码吞吐量（约 65–201 tok/s）。

Nace.ai 发布开源（Apache 2.0）Apple Silicon 优化 Metal 推理引擎 Kapitsa，专为 Qwen 和 Nemotron 模型定制内核，并在 M1 Pro、M4 Pro、M5 Max 上公布对比 MLX、llama.cpp、Ollama 等引擎的解码基准。

苹果发布新版 MLX 框架，展示如何在单台 Mac Studio 上运行 Muse Spark Open（近万亿参数）等前沿模型，并通过 RDMA over Thunderbolt 驱动在多台 Mac 间实现分布式张量/流水线并行推理，在四台 M5 Ultra 集群上达到每秒 36 tokens 以上的解码速度。

Awni Hannun 展示了两台 M5 Ultra 配合 MLX 所能达到的性能水平，凸显本地 Apple Silicon 推理能力的显著提升。

作者将 Ternary Bonsai 2 27B 量化模型迁移到苹果神经网络引擎，在配备 16GB 内存的 M6 Mac mini 上实现了约每秒 52 个词元的代码生成速度，整机功耗仅约 12 瓦，显著优于 GPU 方案。项目基于 ANEMLL Forge，提供转换脚本、运行时补丁和兼容 OpenAI 的接口，并已适配 Grok Build。

一篇详细的技术文章，介绍把 M5 Ultra 256 GB 用于 prefill、M3 Ultra 512 GB 用于 decode 的配对方案：在 MLX 上运行 GLM-5.3-Flash，通过 Thunderbolt 5 RDMA 做分离式推理，将长 prompt 的首 token 延迟从约 40 秒降到约 18.5 秒。

作者系统整理了本地部署模型的加速方案，包括在 macOS 上结合 Turbo、MLX、VAE Q8 和前缀 KV cache 让 Qwen-Image 2.1 提速近 5 倍，以及用 Uzu 的投机解码把 Qwen3.5-9B 从 22 tok/s 提升到 92 tok/s、用 TensorRT 让 Qwen 在 RTX 5090 上比 llama.cpp 快 3 倍等案例。

strata-mlx 更新：中断的长对话不再重读，10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒（M4 Max），并优化了 32 GB Mac 的内存管理，避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎，吞吐量显著优于 llama.cpp 和 LM Studio。

strata-mlx 更新：在低内存 Mac 上提升推理速度但增加内存占用，新增 --check 性能预检命令，并评估了专家预测预取方案的收益（仅 1.35x 上限，未实施）。

用户惊叹于在 M3 Max 64GB Mac 上通过 oMLX 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp 这个约 100GB 的模型，58GB 分配给 GPU，并支持最高 130k 上下文窗口，展示了本地大模型推理性能的显著提升。

yibie 发布了 strata-mlx，这是一款面向 Mac 的非官方 MLX 推理引擎，可从 Strata 的 GGUF 文件运行 125B MoE 模型 Qwen3.8-Flash-Next，生成速度达到 llama.cpp 的 1.7–2.9 倍，并支持内存较小的 Mac 将专家卸载到 SSD。

UkisAI 的 Swift 1.5（基于 Qwen 3.8 Flash Next）的社区 MLX 量化版本，4.7bpw，专为搭载 M5 Ultra 的 96GB Mac Studio 调优，预填充/解码速度表现出色，与 BF16 模型的 top-1 一致率达到 91%。

一项实测对比，测试了四款本地 LLM 推理引擎（oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1、MTPLX 2.12.2）在 36 GB M3 Max MacBook Pro 上的表现，结果显示 Rapid-MLX 在 Qwen3.6-35B-A3B 上最快（约 110 tok/s），而 Splash 在稠密模型 Qwen3.8-27B 上最快（通过投机解码达到约 31.7 tok/s）。

DecisionTune 1.0 是一个 3.95 亿参数的编码器（ModernBERT-large 加上一个评分头），用于离线为小型代理（agent）决策进行选项评分。在 MLX 上，每次决策约 10 毫秒即可完成，采用 Apache-2.0 协议发布的权重，并提供 PyTorch、MLX 和 ONNX 后端支持。

文章详细介绍了如何基于 Apple MLX 将 Qwen3-4B 微调为输出校准数值的决策模型 Gero-4B，涵盖架构改造、结构化训练与 RL 训练三个阶段的完整代码与实践教训。

一段演示视频展示了 Qwen3.8-Flash-Next-MLX-oQ8-MTP 模型通过 tensorfold 在 Apple M3 Ultra 上以约 80 token/s 的速度运行，作者建议尽可能使用最高档的量化以获得更好的质量和更少的错误。

一项关于在 Apple silicon 上运行模型时使用哪些 MLX 引擎的社区投票，目前公布了前 15 名的结果，投票通道仍然开放，欢迎帮助凑满 1000 票。