你在 Strix Halo 128GB 上运行的最佳模型是什么?
摘要
作者分享了在配备 Strix Halo 和 128GB 统一内存的 Framework 台式机上运行本地 AI 模型的经验,偏好使用 Qwen 模型进行编码,并寻求关于如何更好利用硬件的建议。
我有一台 Framework 台式机,配备 128GB 统一内存,一直用它愉快地学习本地模型。我注意到一点,至少在我的情况下,我总是使用较小或中等规模的模型,比如 Qwen3.6 35B 或 Qwen 3.8 27B。通常这些模型在编码方面给我最好的结果,我并不抱怨。但我感觉那额外的 90GB 就闲置着被浪费了,而且 CPU 不够强大,无法以合理的速度运行多个代理。你们在 Strix Halo 机器上运行什么?我是不是错过了什么?
相似文章
购买64GB Strix Halo(Framework Desktop)约2000美元是否明智?
用户询问64GB内存的Framework Desktop是否足以处理本地AI任务,如使用Minimax-H3和Qwen 3.8 27B模型进行视频生成,并寻求替代方案。
AMD Strix Halo(GMKtec EVO-X2 等)是我们目前最接近“理想”本地 LLM 主机的选择吗?
社区讨论帖,探讨 AMD Strix Halo 系统(GMKtec EVO-X2、Framework Desktop 等)是否是目前最接近理想本地 LLM 主机的方案,在统一内存与 GPU、NPU、FPGA 等方案之间权衡,用于运行高质量量化(20B-32B)模型。
借助R9700实现Strix Halo双倍性能提升
一位用户分享了如何通过将大型MoE模型分配到Strix Halo APU和R9700 GPU之间,实现AI推理性能翻倍,详细介绍了配置和代码修改。
开发们 - 你有64GB显存 - 你用什么模型写代码?
一位拥有64GB显存的开发者分享了他使用unsloth版Qwen 3.5 122b-a10b模型进行编码的偏好,并向社区征求推荐。
高显存本地编码模型——依然首选 Qwen 3.6 27B 吗?
用户分享了使用 Qwen 3.6 27B 进行本地编码任务的经验,并寻求适合拥有 224GB 显存系统的更大模型(100B 以上)的推荐。