你在 Strix Halo 128GB 上运行的最佳模型是什么?

Reddit r/LocalLLaMA 新闻

摘要

作者分享了在配备 Strix Halo 和 128GB 统一内存的 Framework 台式机上运行本地 AI 模型的经验,偏好使用 Qwen 模型进行编码,并寻求关于如何更好利用硬件的建议。

我有一台 Framework 台式机,配备 128GB 统一内存,一直用它愉快地学习本地模型。我注意到一点,至少在我的情况下,我总是使用较小或中等规模的模型,比如 Qwen3.6 35B 或 Qwen 3.8 27B。通常这些模型在编码方面给我最好的结果,我并不抱怨。但我感觉那额外的 90GB 就闲置着被浪费了,而且 CPU 不够强大,无法以合理的速度运行多个代理。你们在 Strix Halo 机器上运行什么?我是不是错过了什么?
查看原文

相似文章

借助R9700实现Strix Halo双倍性能提升

Reddit r/LocalLLaMA

一位用户分享了如何通过将大型MoE模型分配到Strix Halo APU和R9700 GPU之间,实现AI推理性能翻倍,详细介绍了配置和代码修改。