# GPU - 按性价比排序的 Vulkan llama.cpp 基准测试

Reddit r/LocalLLaMA 工具
llama.cpp vulkan gpu-benchmarks local-llm hardware inference price-performance

摘要

社区汇编的 76 款 GPU 排名，使用 llama.cpp 的 Vulkan 后端进行本地 LLM 推理基准测试，按二手市场性价比排序。像 P102-100、MI50 和 Radeon VII 这类早期宽显存总线和 HBM2 显卡在性价比上占据优势，而现代中端显卡则受限于狭窄的显存总线，成为瓶颈。

这张表格旨在帮助任何想要搭建低成本数据中心 homelab 的人。我从 Llama.cpp 讨论帖 Performance of llama.cpp with Vulkan #10879 中复制了大量基于性价比、中端定位、速度不错的 GPU 结果，并将其喂给 AI 或系统集成商，以下是推荐结果。基准测试中列出了 76 种不同的 GPU 型号。 "测试使用 'Llama 2 7B 模型'，并采用 Q4_0 量化，因为它计算简单且足够小，可以放入 4GB GPU 中。" 基于所提供的 llama-bench 基准数据，通过 Vulkan 后端运行本地 LLM 推理会彻底改变价值层级。现代中端消费级显卡在解码阶段（tg128）受制于狭窄的显存位宽（128-bit 或 192-bit），瓶颈严重，而企业级组件和老款大位宽旗舰卡则在性价比上占据主导地位。通过分析 2026 年二手市场当前价格（汇总 eBay 等二手平台及专业科技硬件社区的活跃价格趋势），并结合你的基准指标，以下是性价比排名。性价比效率公式综合考量了入门价格与预填充速度（pp512）、解码吞吐量（tg128）以及可用显存总量。 ## Top 20 GPU 性价比排名（二手市场） | 排名 | GPU 型号 | 预估二手价格 | pp512 (t/s) | tg128 (t/s) | 显存容量 | 性价比概况 | |------|----------|-------------|-------------|-------------|---------|-----------| | 1 | Nvidia P102-100 | ~$40 - $50 | ~510 | ~62.8 | 10 GB | **性价比之王**：320-bit 位宽的矿卡。解码周期每美元产出约 1.3 tokens/sec。 | | 2 | AMD Instinct MI50 | ~$110 - $130 | ~1,119 | ~108.5 | 16 GB | **解码效率之王**：完整 1,024 GB/s HBM2 带宽。二手市场上每 token 解码成本最低。 | | 3 | AMD Radeon VII | ~$140 - $160 | ~1,059 | ~101.1 | 16 GB | 与 MI50 同样的顶级 HBM2 显存基底，但配备了消费级显示输出接口。 | | 4 | Nvidia GTX 1080 Ti | ~$110 - $130 | ~585 | ~67.7 | 11 GB | 老牌消费级战士。其 352-bit 宽位宽在解码方面经常超越 $300 以内的现代架构显卡。 | | 5 | Nvidia Tesla P100 | ~$90 - $110 | ~678 | ~63.1 | 16 GB | 低预算 HBM2 替代方案。核心处理速度限制了其预填充性能，但解码性价比极高。 | | 6 | AMD Radeon RX 6800 | ~$220 - $240 | ~1,593 | ~101.4 | 16 GB | 卓越的均衡性。简洁的驱动架构带来了与现代硬件层级相称的巨大解码速度。 | | 7 | AMD Radeon RX 7900 GRE | ~$400 - $430 | ~2,336 | ~116.1 | 16 GB | 现代性价比亮点。RDNA3 架构在计算任务上扩展性极佳，显存吞吐优秀。 | | 8 | Nvidia RTX 3060 (12GB) | ~$180 - $200 | ~1,815 | ~75.9 | 12 GB | 消费级方案的入门标准。价格亲民，12GB 显存足以运行小型模型。 | | 9 | Nvidia Tesla V100 (16GB) | ~$180 - $220 | ~1,391 | ~129.5 | 16 GB | **综合企业之选**：Volta 核心架构提供极其可靠的生成和预填充基准性能。 | | 10 | Nvidia RTX 2080 Ti | ~$200 - $230 | ~1,888 | ~97.5 | 11 GB | 高效的 Turing 旗舰布局。凭借激进的 352-bit 位宽架构，速度超过更新的同级产品。 | | 11 | AMD Radeon RX 7800 XT | ~$350 - $380 | ~2,017 | ~118.2 | 16 GB | 简洁且极具竞争力的 RDNA3 计算引擎，开箱 Vulkan 性能表现优秀。 | | 12 | AMD Radeon RX 7900 XT | ~$500 - $550 | ~2,941 | ~123.1 | 20 GB | 巨大的 20GB 缓冲区容量。性能扩展优秀，但价格也更高。 | | 13 | Nvidia Tesla P40 | ~$120 - $140 | ~488 | ~59.3 | 24 GB | 进入 24GB 显存的最低门槛。FP16 计算速度较差，导致上下文加载缓慢。 | | 14 | Nvidia RTX 4070 Super | ~$480 - $520 | ~4,608 | ~108.7 | 12 GB | 极快的预填充速度。强大的核心弥补了标准 192-bit 位宽的不足。 | | 15 | Intel Arc A750 | ~$90 - $110 | ~1,075 | ~42.6 | 8 GB | 每美元原始带宽极高，但受固定的 8GB 显存上限严重限制。 | | 16 | Nvidia RTX 4070 Ti Super | ~$680 - $730 | ~6,099 | ~129.4 | 16 GB | 出色的原始吞吐基准，但需要更高的前期投资成本。 | | 17 | Nvidia RTX 5060 Ti | ~$420 - $460 | ~3,460 | ~93.5 | 12 GB / 16 GB | Blackwell 中端布局。提供非常稳健的处理性能，但带有现代市场的溢价。 | | 18 | AMD Radeon RX 580 | ~$40 - $50 | ~258 | ~39.3 | 8 GB | 极致便宜的入门底线。以最低的成本提供文本处理能力。 | | 19 | Nvidia P104-100 | ~$30 - $40 | ~311 | ~46.1 | 8 GB | 低功耗预算节点。适合基础组件必须便宜的多卡分布式矩阵。 | | 20 | AMD Radeon RX 9070 | ~$550 - $600 | ~3,164 | ~119.7 | 16 GB | 下一代 RDNA4 架构。高性能密度，但硬件成本比扩展性较低。 | ## Vulkan 测试结果的关键策略要点 **最低 Token 生成成本（tg128）：** AMD Instinct MI50 和 P102-100 完全颠覆了曲线。MI50 仅需约 $120 就能在 Llama-7B 架构上实现超过 100 t/s，而消费级桌面显卡需要两倍预算才能达到同等水平。 **最低提示词处理成本（pp512）：** 现代架构凭借硬件 Tensor 能力在预填充指标上占据绝对优势。如果你的瓶颈是提示词处理延迟，可以关注 RTX 4070 Super 或 RTX 5060 Ti，它们在输入吞吐速度上远超自身级别。 **最佳综合平衡：** GTX 1080 Ti 和 AMD Radeon RX 6800 是标准桌面节点的绝对"甜点"。它们避免了 Tesla 系列等无头数据中心单元所需的严格散热改造或专用软件处理，同时最大化了带宽与成本的效率。 图表和总结由 Gemini 和我本人提供。我目前拥有 RX 7900 GRE、MI50、P102-100、GTX 1080 Ti、GTX 1070、RX 480/580。 以下是 Top 20 GPU 中每项指标的每 token 每秒成本（\(\div \text{t/s}\)）明细。成本值越低（$/t/s），意味着每美元获得的性能越多。综合吞吐代表预填充和生成的均衡算术基线。 | GPU 型号 | 预估二手价格 | pp512 每 t/s 成本 | tg128 每 t/s 成本 | 综合每 t/s 成本 | |----------|------------|-----------------|-----------------|---------------| | Nvidia P102-100 | $45 | $0.0881 | $0.7162 | $0.1569 | | Nvidia P104-100 | $35 | $0.1122 | $0.7579 | $0.1955 | | AMD Instinct MI50 | $120 | $0.1072 | $1.1059 | $0.1954 | | AMD Radeon RX 580 | $45 | $0.1744 | $1.1445 | $0.3027 | | Intel Arc A750 | $100 | $0.0929 | $2.3441 | $0.1788 | | Nvidia RTX 3060 | $190 | $0.1046 | $2.5020 | $0.2009 | | Nvidia RTX 4070 Super | $500 | $0.1085 | $4.5981 | $0.2120 | | Nvidia RTX 2080 Ti | $215 | $0.1139 | $2.2033 | $0.2165 | | Nvidia RTX 4070 Ti Super | $705 | $0.1156 | $5.4461 | $0.2264 | | Nvidia RTX 5060 Ti | $440 | $0.1271 | $4.7054 | $0.2476 | | AMD Radeon VII | $150 | $0.1416 | $1.4824 | $0.2585 | | Nvidia Tesla V100 | $200 | $0.1437 | $1.5434 | $0.2630 | | Nvidia Tesla P100 | $100 | $0.1475 | $1.5833 | $0.2698 | | AMD Radeon RX 6800 | $230 | $0.1443 | $2.2667 | $0.2713 | | AMD Radeon RX 7900 GRE | $415 | $0.1776 | $3.5742 | $0.3384 | | AMD Radeon RX 7800 XT | $365 | $0.1809 | $3.0862 | $0.3418 | | AMD Radeon RX 7900 XT | $525 | $0.1785 | $4.2621 | $0.3426 | | AMD Radeon RX 9070 | $575 | $0.1817 | $4.8033 | $0.3502 | | Nvidia GTX 1080 Ti | $120 | $0.2049 | $1.7712 | $0.3674 | | Nvidia Tesla P40 | $130 | $0.2664 | $2.1900 | $0.4750 | 根据提供的基准数据集和当前二手市场价值趋势，以下是性价比最差的 10 款 GPU 排名。这些值代表最高的每 token 每秒成本（$/t/s）。数字越高，意味着你为每一单位推理速度支付的费用显著越高。 | 排名 | GPU 型号 | 预估二手价格 | pp512 每 t/s 成本 | tg128 每 t/s 成本 | 综合每 t/s 成本 | 主要瓶颈概况 | |------|----------|------------|-----------------|-----------------|---------------|-------------| | 1 | Nvidia Tesla M40 | $60 | $0.6488 | $1.5248 | $0.9103 | **综合性价比最差**：过时的 Maxwell 架构在预填充和生成两方面都导致极低的处理吞吐量。 | | 2 | Nvidia Titan V | $350 | $0.4395 | $3.3314 | $0.7766 | **收藏家溢价税**：尽管配备 HBM2 显存，高昂的前期市场溢价使其性价比表现不佳。 | | 3 | AMD Radeon Instinct MI60 | $150 | $0.4062 | $1.9191 | $0.6705 | 预填充扩展性严重不足，部署实用性远不及便宜得多的 MI50 方案。 | | 4 | AMD Radeon RX 7600 XT | $260 | $0.3092 | $4.9038 | $0.5817 | **严重解码瓶颈**：受限于极窄的…… |
查看原文

相似文章

# 穷人 Vulkan GPU 列表

Reddit r/LocalLLaMA

# 通过 Vulkan 后端在 Linux 上运行 LLM 推理的显卡社区清单 一份由社区维护整理的显卡清单，涵盖预算级与旧款 GPU（NVIDIA GTX/Maxwell/Pascal、AMD Radeon 以及 Instinct MI 系列），可在 Linux 上借助 **Vulkan 后端**运行 LLM 推理，无需依赖最新的 CUDA/ROCm 支持要求。 其中特别推荐 **AMD Instinct MI50 16GB**，售价约 **$150**，是目前性价比最高的选择。