@QingQ77: 纯 Swift 写的 Apple Silicon LLM 推理服务器，不用 Python，低内存 Mac 也能跑大模型。 https://github.com/SharpAI/SwiftLM SwiftLM 是个 Swift 原生的推理服…
摘要
SwiftLM is a Swift-native LLM inference server for Apple Silicon that runs large models without Python, using SSD streaming to load MoE weights and enabling 122B models on 64 GB Macs.
纯 Swift 写的 Apple Silicon LLM 推理服务器，不用 Python，低内存 Mac 也能跑大模型。 https://github.com/SharpAI/SwiftLM SwiftLM 是个 Swift 原生的推理服务器，直接对接 OpenAI API，不需要 Python 环境。它用 SSD 流式加载技术把 MoE 模型的权重从 NVMe 读取到 GPU，122B 的模型在 64 GB Mac 上只要约 10
相似文章
@sitinme: 有一个挺有意思的开源项目，叫 Cider，专门给 Apple Silicon 芯片的 Mac 做本地 AI 推理加速。 很多人买了 Mac mini、MacBook Pro ，想在本地跑模型，但总会出现速度不够快、内存吃得猛的情况 其实 …
Cider 是一个开源项目，专为 Apple Silicon Mac 设计，通过充分利用 M 系列芯片的算力来加速本地 AI 推理，适配 MLX 生态，支持 Qwen、Llama 等模型，安装简单。
New MLX LM Server From Apple
Apple MLX 团队推出 MLX LM Server，一个在 Mac 上完全本地运行 AI 智能体工作流的工具，支持连续批处理、分布式推理和 M5 神经加速，无需云端或 API 密钥。
@cevenif: 用苹果电脑跑本地大模型的朋友，有个工具值得盯上——Rapid-MLX。它在 M 系列芯片上的推理速度比 Ollama 快 2 到 4 倍，因为它是直接基于苹果的 MLX 框架开发的，对芯片架构的压榨更彻底。 几个关键点： KV 缓存裁剪加…
Rapid-MLX 是一个针对苹果 M 系列芯片优化的本地大模型推理工具，基于 MLX 框架开发，推理速度比 Ollama 快 2 到 4 倍，支持多种模型、工具调用及 OpenAI API 兼容接口。
@0xSero：本地部署（一）—— Apple Silicon Mac 拥有大内存池可跑大模型，但 token 生成速度会……
Apple Silicon Mac 提供大内存池运行大模型，但 token 生成较慢，最适合活跃参数量低的大型 MoE 模型。
@NFTCPS: 4GB显存跑70B大模型？这事儿真成了！ AirLLM玩了个骚操作——分层推理，不一次性把模型怼进显存，而是一层层加载、算完就扔，硬生生把巨无霸塞进小破卡。 最骚的是：100%开源，白嫖警告 https://github.com/0xSo…
AirLLM 是一个完全开源的工具，通过分层推理技术（逐层加载并立即释放显存），使得 70B 大语言模型可在仅 4GB 显存的 GPU 上运行，无需量化、蒸馏或剪枝，并已支持 Llama3.1 405B 在 8GB 显存上运行。