@0xSero：本地部署（一）—— Apple Silicon Mac 拥有大内存池可跑大模型，但 token 生成速度会……
摘要
Apple Silicon Mac 提供大内存池运行大模型，但 token 生成较慢，最适合活跃参数量低的大型 MoE 模型。
查看缓存全文
缓存时间: 2026/04/22 15:00
本地篇 1 —— Apple Silicon Mac 提供了大容量内存，可以跑超大模型，但 token 生成速度会比大多数人习惯的慢。Mac 最适合那些“总参数量巨大、活跃参数量低”的 MoE 模型。简单来说，当你看到类似 Qwen3.5-397B-A17B 这样的模型时
相似文章
@QingQ77: 纯 Swift 写的 Apple Silicon LLM 推理服务器，不用 Python，低内存 Mac 也能跑大模型。 https://github.com/SharpAI/SwiftLM SwiftLM 是个 Swift 原生的推理服…
SwiftLM is a Swift-native LLM inference server for Apple Silicon that runs large models without Python, using SSD streaming to load MoE weights and enabling 122B models on 64 GB Macs.
@nicebabycat: https://x.com/nicebabycat/status/2091726637155103126
本文详细测试了Ling-3.0-tiny模型在Apple M5芯片Mac上的本地部署与性能，展示了在无独立显卡时以47 token/s的速度运行7.9B参数模型的可行性。
@svpino: DeepSeek-V4-Flash 在 Mac M5 Pro 上运行速率达到 5.71 token/秒。每天，我们都能在消费级硬件上运行更好的模型…
这条推文强调了 DeepSeek-V4-Flash 在 Mac M5 Pro 上以每秒 5.71 个 token 的速率运行，突显了消费级硬件上本地 AI 推理的进步，并提到了腾讯的开源 Palm-Infra 用于 Apple Silicon 优化。
@julien_c：Apple Silicon 是本地AI之王吗？
关于Apple Silicon是否是运行本地AI模型的最佳硬件的讨论，引用了一篇相关文章或讨论串。
优化Apple Silicon设备端推理（20分钟阅读）
Apple的Lily引擎通过利用统一内存和硬件，优化了Apple silicon上的设备端LLM推理，性能超越MLX-LM，并针对Qwen3.6-35B-A3B模型架构进行了调优。