Show HN：在 Mac 上仅用 4.3 GB 内存运行 80B Qwen，以及在 iPhone 上运行 35B
摘要
演示了在 Mac 上仅用 4.3 GB 内存运行 80B Qwen 模型，以及在 iPhone 上运行 35B 模型，展示了本地 LLM 推理的极致内存优化。
暂无内容
相似文章
榨干64GB内存：Qwen3.5 122B A10B（UD-Q2_K_XL，启用MTP）已完全取代我原本的Qwen3 Next 80B（UD-Q4_K_XL）
一位用户比较了在64GB内存系统上运行量化版Qwen3 Next 80B和Qwen3.5 122B的情况，指出了本地LLM推理中速度、质量和内存使用之间的权衡。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。
在Zeus（小米12 Pro，12GB RAM）上运行Qwen 3.6 35B MoE（Q4_K_M）
演示在搭载12GB RAM的小米12 Pro上以Q4_K_M量化方式运行Qwen 3.6 35B MoE模型，展示了在移动设备上进行本地AI推理。
@tom_doerr: 在 16GB 内存 Mac 上运行 35B 模型 https://github.com/walter-grace/mac-code…
该工具支持通过从 SSD 流式加载模型权重，在 16GB Mac 上运行 Qwen3.5-35B 等大型语言模型，经优化配置后最高可达 30 tok/s。
在配备 24GB 内存的 M4 芯片上运行本地模型
指南介绍了如何使用 LM Studio、Ollama 等工具，在拥有 24GB 内存的 M4 MacBook 上运行 Qwen 3.5-9B 等本地 AI 模型，并提供了优化性能的具体配置建议。