在Zeus（小米12 Pro，12GB RAM）上运行Qwen 3.6 35B MoE（Q4_K_M）
摘要
演示在搭载12GB RAM的小米12 Pro上以Q4_K_M量化方式运行Qwen 3.6 35B MoE模型，展示了在移动设备上进行本地AI推理。
暂无内容
相似文章
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。
榨干64GB内存：Qwen3.5 122B A10B（UD-Q2_K_XL，启用MTP）已完全取代我原本的Qwen3 Next 80B（UD-Q4_K_XL）
一位用户比较了在64GB内存系统上运行量化版Qwen3 Next 80B和Qwen3.5 122B的情况，指出了本地LLM推理中速度、质量和内存使用之间的权衡。
Show HN：在 Mac 上仅用 4.3 GB 内存运行 80B Qwen，以及在 iPhone 上运行 35B
演示了在 Mac 上仅用 4.3 GB 内存运行 80B Qwen 模型，以及在 iPhone 上运行 35B 模型，展示了本地 LLM 推理的极致内存优化。
在搭载RTX 4060（8GB）的笔记本电脑上运行Qwen3.6-35B-A3B——哪些有效、哪些无效以及一个令人意外的推测解码结果
详细记录了在8GB笔记本GPU上运行Qwen3.6-35B-A3B MoE模型的经历，涵盖有效优化（如--no-mmap和VRAM余量）、意料之外的发现（推测解码相比基准测试提升26%的速度）以及Windows和CPU瓶颈的陷阱。
@UnslothAI：Qwen3.8-27B 即将发布！可在 17GB RAM/VRAM 配置上本地运行。
阿里巴巴宣布 Qwen3.8-27B 开源权重版本发布，可在 17GB RAM/VRAM 上本地运行，同时还有更大的 Qwen3.8-Max。