我的 Strix Halo 每天最多花费 0.48 美元

Reddit r/LocalLLaMA 新闻
strix-halo amd inference power-efficiency hardware-comparison local-llm

摘要

本文比较了在 Strix Halo（每天最多 0.48 美元）与 Nvidia A6000 上运行 AI 模型的能源成本，强调了能效和多功能性。

这是人们在抱怨运行速度慢、新用户被建议避开它们时从未提及的一点。这 48 美分是最坏情况下的数字，即同时运行多个模型/编译任务，CPU、GPU 和 NPU 全开持续 24 小时。当处于静音模式、功耗极低且体积仅相当于一个小型路由器时，我只能在 Q8_XL Qwen 3.6 35B 上达到 50 tps。我知道你的 Nvidia 显卡要快得多，但如果你考虑的不只是原始 GPU 显存速度/计算能力，或者你在意体积/噪音/能耗，我看不出还有什么可比性。一块 A6000 单卡功耗就是 300W，是 Strix Halo 设备总功耗预算的两倍。即使在当前价格虚高的情况下，我认为这些设备也具有极高的价值。它们提供的远不止是 GPU 和内存。任何不用于推理的资源都可以自由用于托管你需要的任何服务，这套组合非常全能。Mac 也是如此。
查看原文

相似文章

Strix Halo桌面试图与DGX Spark竞争

Reddit r/LocalLLaMA

AMD推出Ryzen AI Halo开发者平台，这是一款售价3999美元的迷你PC，配备128GB统一内存并支持Windows 11，与Nvidia的DGX Spark在本地AI工作负载领域竞争。

AMD / Strix Halo+ 用户的大新闻

Reddit r/LocalLLaMA

AMD Strix Halo 设备上的 NPU 现在可用于 AI 推理，支持混合模式，结合 NPU 和 iGPU 以实现更快的提示处理。Lemonade 和 AMD 的 ROCm 等软件使之成为可能。