@0xSero：本地部署（一）—— Apple Silicon Mac 拥有大内存池可跑大模型，但 token 生成速度会……
摘要
Apple Silicon Mac 提供大内存池运行大模型，但 token 生成较慢，最适合活跃参数量低的大型 MoE 模型。
查看缓存全文
缓存时间: 2026/04/22 15:00
本地篇 1 —— Apple Silicon Mac 提供了大容量内存，可以跑超大模型，但 token 生成速度会比大多数人习惯的慢。Mac 最适合那些“总参数量巨大、活跃参数量低”的 MoE 模型。简单来说，当你看到类似 Qwen3.5-397B-A17B 这样的模型时
相似文章
@QingQ77: 纯 Swift 写的 Apple Silicon LLM 推理服务器，不用 Python，低内存 Mac 也能跑大模型。 https://github.com/SharpAI/SwiftLM SwiftLM 是个 Swift 原生的推理服…
SwiftLM is a Swift-native LLM inference server for Apple Silicon that runs large models without Python, using SSD streaming to load MoE weights and enabling 122B models on 64 GB Macs.
@Oluwaphilemon1：Qwen3.8-27B 正在一台仅有 16GB 统一内存的 M1 MacBook 上本地运行。不用云端 API。不用外接 GPU。只需一台……
演示中，Qwen3.8-27B 使用 UD-Q2_K_XL 量化和全量 Metal 卸载，在配备 16GB 统一内存的 M1 MacBook 上本地运行，生成速度达到约 4 token/秒（使用推测解码时约为 5.5 token/秒）——这表明，大型开放权重模型可以在许多人已经拥有的硬件上运行。
@nicebabycat: https://x.com/nicebabycat/status/2091726637155103126
本文详细测试了Ling-3.0-tiny模型在Apple M5芯片Mac上的本地部署与性能，展示了在无独立显卡时以47 token/s的速度运行7.9B参数模型的可行性。
@svpino: DeepSeek-V4-Flash 在 Mac M5 Pro 上运行速率达到 5.71 token/秒。每天，我们都能在消费级硬件上运行更好的模型…
这条推文强调了 DeepSeek-V4-Flash 在 Mac M5 Pro 上以每秒 5.71 个 token 的速率运行，突显了消费级硬件上本地 AI 推理的进步，并提到了腾讯的开源 Palm-Infra 用于 Apple Silicon 优化。
@volatilemarkts：同一台 Mac，同一模型，同样内容。上周我在 512 GB M3 Ultra 上用 MLX 跑 GLM-5.3-Flash：27 tok/s，首 token 耗时 0.46 秒……
TensorFold 0.6.2 是一款 Apache 2.0 开源 LLM 推理引擎，声称在 Apple Silicon 上的 token 吞吐量超过 MLX 的两倍（M3 Ultra 上为 61 vs 27 tok/s），采用多 token 预测的投机解码技术，支持并发并行请求以及兼容 OpenAI 的 API。