我的 Strix Halo 每天最多花费 0.48 美元
摘要
本文比较了在 Strix Halo(每天最多 0.48 美元)与 Nvidia A6000 上运行 AI 模型的能源成本,强调了能效和多功能性。
这是人们在抱怨运行速度慢、新用户被建议避开它们时从未提及的一点。这 48 美分是最坏情况下的数字,即同时运行多个模型/编译任务,CPU、GPU 和 NPU 全开持续 24 小时。当处于静音模式、功耗极低且体积仅相当于一个小型路由器时,我只能在 Q8_XL Qwen 3.6 35B 上达到 50 tps。我知道你的 Nvidia 显卡要快得多,但如果你考虑的不只是原始 GPU 显存速度/计算能力,或者你在意体积/噪音/能耗,我看不出还有什么可比性。一块 A6000 单卡功耗就是 300W,是 Strix Halo 设备总功耗预算的两倍。即使在当前价格虚高的情况下,我认为这些设备也具有极高的价值。它们提供的远不止是 GPU 和内存。任何不用于推理的资源都可以自由用于托管你需要的任何服务,这套组合非常全能。Mac 也是如此。
相似文章
借助R9700实现Strix Halo双倍性能提升
一位用户分享了如何通过将大型MoE模型分配到Strix Halo APU和R9700 GPU之间,实现AI推理性能翻倍,详细介绍了配置和代码修改。
Strix Halo桌面试图与DGX Spark竞争
AMD推出Ryzen AI Halo开发者平台,这是一款售价3999美元的迷你PC,配备128GB统一内存并支持Windows 11,与Nvidia的DGX Spark在本地AI工作负载领域竞争。
你在 Strix Halo 128GB 上运行的最佳模型是什么?
作者分享了在配备 Strix Halo 和 128GB 统一内存的 Framework 台式机上运行本地 AI 模型的经验,偏好使用 Qwen 模型进行编码,并寻求关于如何更好利用硬件的建议。
为最大化StrixHalo性能而折腾(+NVLink双eGPU 3090改造)
用户详细介绍了对配备双RTX 3090 eGPU和NVLink的AMD Strix Halo系统进行改造和基准测试的过程,发现对密集模型的LLM推理速度有所提升,尤其是使用vLLM时,并讨论了能效权衡。
AMD / Strix Halo+ 用户的大新闻
AMD Strix Halo 设备上的 NPU 现在可用于 AI 推理,支持混合模式,结合 NPU 和 iGPU 以实现更快的提示处理。Lemonade 和 AMD 的 ROCm 等软件使之成为可能。