GPU选型指南(每美元显存容量与带宽)

Reddit r/LocalLLaMA 工具

摘要

本文通过每GB成本及带宽指标对各类GPU进行对比,旨在帮助用户优化脚本运行性能。

希望这份指南能对大家有所帮助。我的脚本使用了LocalLLaMA、LowEndLocalAI以及LocalLLM相关论坛中讨论最多的那些GPU。起初我本想列出更多型号,但那样会导致内容过于冗长难以阅读。价格数据来源于ChatGPT,可能存在误差;在有最新价格的情况下会优先使用,否则则参考二手市场价格。虽然这只是一份基础的对比资料,但总比没有好。例如,通过它就能看出某款GPU在理论性能上相比3090是更快还是更慢。
查看原文

相似文章

Computable GPU Index (CGI)

Product Hunt

Computable GPU Index (CGI) 是一个开源价格指数,它根据各种提供商的租赁费率计算每GPU小时的美元价格。它为基准测试GPU计算成本提供了一种数学上稳健且可重现的方法。

性价比不断提升,成本不断降低

Reddit r/singularity

Wafer 证实,AMD MI355X GPU 在推理前沿模型(如 GLM5.2)时,提供了有竞争力的性能,且成本远低于 NVIDIA Blackwell,使用 MXFP4 量化和 sglang 框架,以不到一半的价格实现了 B200 80% 的吞吐量。