对15款“电子垃圾”GPU进行现代工作负载基准测试

# 特斯拉 GPU 基准测试 – esologic 来源：https://esologic.com/benchmarking-tesla-gpus/ 退役的企业级 NVIDIA GPU 是目前少数仍有大量闲置显存的来源之一。拥有 24GB GDDR5 显存的 K80 售价 60 美元，P100-16GB 约 75 美元，V100-16GB 不到 200 美元。尽管存在种种不足，了解我们能否在现代环境中利用这些广泛可用的显卡仍然至关重要。这个针对特斯拉 GPU 的基准测试项目已经筹备了将近一年（https://esologic.com/new-cooler-first-look/#benchmarking），整个冬天我用了许多千瓦时的电力，用 GPU 把工作室加热得很暖和。 https://esologic.com/wp-content/uploads/2026/07/22-tesla-benchmark-16-9-noaudio.mp4 - 一箱特斯拉 GPU（https://esologic.com/benchmarking-tesla-gpus/#Box_of_Tesla_GPUs） - 别害怕（https://esologic.com/benchmarking-tesla-gpus/#Dont_Be_Afraid） - GPU 基准测试内容（https://esologic.com/benchmarking-tesla-gpus/#Content_of_the_GPU_Benchmarks） - 工作原理（https://esologic.com/benchmarking-tesla-gpus/#Theory_of_Operation） - 被测硬件（已基准测试的特斯拉 GPU）（https://esologic.com/benchmarking-tesla-gpus/#Hardware_Under_Test_Benchmarked_Tesla_GPUs） - 结果（https://esologic.com/benchmarking-tesla-gpus/#Results） - GPU 代际对比（https://esologic.com/benchmarking-tesla-gpus/#GPU_Generation_Comparison） - GPU 扩展性（https://esologic.com/benchmarking-tesla-gpus/#GPU_Scaling） - GPU 混用（https://esologic.com/benchmarking-tesla-gpus/#GPU_Mixing） - CPU 对比（https://esologic.com/benchmarking-tesla-gpus/#CPU_Comparison） - 主板对比（https://esologic.com/benchmarking-tesla-gpus/#Motherboard_Comparison） - GPU 节点 BOM（https://esologic.com/benchmarking-tesla-gpus/#GPU_Node_BOM） - 下一步（https://esologic.com/benchmarking-tesla-gpus/#Next_Steps） ## 一箱特斯拉 GPU 此次基准测试的目标之一是为我的家庭实验室打造一份廉价 4U GPU 节点的物料清单（BOM）。配合合适的散热器（https://esologic.com/cooler/）（如果您想要散热器的测试版，请加入邮件列表！），这些显卡可以比消费级同类产品安装得更加密集。在一个标准 ATX 机箱（无论是机架式还是塔式）中，可以轻松塞入三块 GPU 和一块 10GB 网卡。 与 GPU 价格类似，X99 Intel E5-* Xeon CPU 及其配套硬件的成本现在已经低到不容忽视。40 美元就能买到 E5-2690，拥有 56 个线程，睿频 3.50 GHz。硕大的 Supermicro X10DRG-Q 主板带有两个 CPU 插槽和 7 条 PCIe 插槽，目前售价约 200 美元。为 GPU 盒子选择 CPU 和主板显然很重要，但我想通过硬数据来比较不同思路的优劣。 ## 别害怕 需要指出的是，这里测试的所有硬件都已停产（EOL）。这些 GPU 都不会很快获得 CUDA 兼容性更新或驱动程序更新。较旧的设备能效也较低，每个 token 消耗的能源要多得多。建议今天使用这些显卡是不负责任的。 ……这种指指点点的态度在家庭实验室领域毫无立足之地。软件更新缺失的问题很容易通过使用稍旧的软件来解决。例如，llama.cpp 支持许多 CUDA 架构（https://github.com/esologic/gpu_box_benchmark/blob/47a25a40ebcc6513fac724af6ba9345fbb1eccf6/benchmark_dockerfiles/llama_bench/Dockerfile#L24），只要你愿意从源码编译。使用 Docker，我成功让下文描述的所有软件在 Kepler 架构（2014 年发布）上运行！ 从能效角度看，对于高可用性用例来说完全合理。如果你要构建一个全天候运行的设备，节省下来的 GPU 购置费很快就会被电费吃掉。但这恰恰不是家庭实验室的核心场景。你又不是一直用 LLM 或做视频处理？不用的时候关机就是了。 ## GPU 基准测试内容 基准测试工具本身已发布在 GitHub（https://github.com/esologic/gpu_box_benchmark）上，我此前也写过一篇关于该套件开发的博文（https://esologic.com/gpu-server-benchmark/）。不过，这里还是简要介绍一下图表中出现的各项测试。 | 基准测试 | 类别 | 子类别 | AI 相关 | 描述 | |---|---|---|---|---| | ResNet50 Train B=64 | 计算机视觉 | 训练 | ✅ | 测量训练用于图像分类的卷积神经网络时的 GPU 性能。 | | ResNet50 Infer B=1 | 计算机视觉 | 推理 | ✅ | 测量单张图像的低延迟图像分类推理性能。 | | ResNet50 Infer B=256 | 计算机视觉 | 推理 | ✅ | 测量高吞吐量批量图像分类推理性能。 | | Blender GPU | 3D 渲染 | GPU | ❌ | 对专业 3D 渲染工作负载进行生产级 GPU 路径追踪基准测试。 | | Blender CPU | 3D 渲染 | CPU | ❌ | 使用相同 Blender 场景提供 CPU 渲染基线。 | | CAT ViT Scores | 视觉 Transformer | 推理 | ✅ | 测量视觉 Transformer 用于图像分析和评分的推理吞吐量。 | | CAT ViT Attention | 视觉 Transformer | 推理 | ✅ | 测量视觉 Transformer 注意力图生成性能，这是一种计算强度更高的分析工作负载。 | | llama.cpp Qwen2.5 1.5B Prompt | 大语言模型 | 推理 | ✅ | 测量小语言模型的提示处理（prefill）性能。 | | llama.cpp Qwen2.5 1.5B Gen | 大语言模型 | 推理 | ✅ | 测量小语言模型的自回归文本生成吞吐量。 | | llama.cpp Llama 3 8B Prompt | 大语言模型 | 推理 | ✅ | 测量较大语言模型的提示处理性能。 | | llama.cpp Llama 3 8B Gen | 大语言模型 | 推理 | ✅ | 测量较大语言模型的自回归文本生成吞吐量。 | | llama.cpp Qwen1.5 MoE Prompt | 大语言模型 | 推理 | ✅ | 测量混合专家语言模型的提示处理性能。 | | llama.cpp Qwen1.5 MoE Gen | 大语言模型 | 推理 | ✅ | 测量混合专家语言模型的文本生成吞吐量。 | | F@H Single | 科学计算 | 分子动力学 | ❌ | 使用分子动力学模拟测量科学计算性能。 | | F@H Double | 科学计算 | 分子动力学 | ❌ | 在更重的分子动力学工作负载下测量科学计算性能。 | | SHA-256 | 密码学 | 哈希 | ❌ | 测量 GPU 上原始密码哈希计算的吞吐量。 | | Whisper Med FP16 | 语音识别 | 推理 | ✅ | 测量基于 Transformer 的语音转文本推理性能。 | | Storage→CPU→GPU (gdsio) | AI 基础设施 | 数据加载 | ✅ | 测量将数据从存储加载到 GPU 内存的吞吐量，这是大型 AI 模型和数据集的重要瓶颈。 | ### 工作原理 该工具的目标是能够对特斯拉 GPU 进行基准测试，即“GPU Box”式服务器。基准测试套件的工作原理如下： 基准测试被定义为 Dockerfile，并以 Docker 容器的形式运行，以实现兼容性和可移植性。容器首先在系统中每种类型的 GPU 上单独运行。例如，如果系统中有 K80、M10 和 P100，容器会先在 K80 的两个核心之一上运行，然后在 M10 的四个核心之一上运行，最后在 P100 上运行（因为 P100 只有一个逻辑核心）。接着，容器会在所有附加 GPU 的所有核心上并行重新运行。最后，如果测试本身支持多 GPU 原生运行，则会创建一个可访问所有 GPU 所有核心的容器并运行测试。以下是一个包含 3 块 P100 的系统运行 ResNet50 训练测试的示例结果： ```json { "name": "resnet50_train_batch_64", "benchmark_version": "0.2.0", "override_parameters": {}, "larger_better": true, "multi_gpu_native": true, "verbose_unit": "Images Processed / Second", "unit": "i/s", "critical_result_key": "native_multi_gpu_result", "numerical_results": { "min_by_gpu_type": 208.20215154739634, "max_by_gpu_type": 208.20215154739634, "mean_by_gpu_type": 208.20215154739634, "theoretical_multi_gpu_mean": 208.2021515473963, "theoretical_multi_gpu_sum": 624.606454642189, "forced_multi_gpu_numerical_mean": 205.4402100738262, "forced_multi_gpu_sum": 616.3206302214786, "native_multi_gpu_result": 566.5793352441259 } } ``` `theoretical_multi_gpu_sum` 值是通过将系统中所有 GPU 的每块 GPU 得分相加计算得出的。在我们的示例中，如果单块 K80 核心得分为 10，则该值在 `theoretical_multi_gpu_sum` 中会被计算两次。如果单块 M10 核心得分为 5，则该值在 `theoretical_multi_gpu_sum` 中会被计算四次。下一个计算值 `theoretical_multi_gpu_mean` 是通过 `theoretical_multi_gpu_sum` 除以系统中 GPU 的数量得出的。结果 `forced_multi_gpu_sum` 是通过并行运行的结果之和计算得出的。与其他平均值类似，`forced_multi_gpu_numerical_mean` 是通过 `forced_multi_gpu_sum` 除以 GPU 数量得出的。所有这些不同的数值最终将用于识别 GPU 盒子或测试本身的性能瓶颈。 目前，只有通过 `critical_result_key` 定义的键用于可视化。截至撰写本文时，这些键都是 `native_multi_gpu_result` 或 `forced_multi_gpu_sum`。子图标题中带有星号 (*) 的表示使用了 `forced_multi_gpu_sum`。 ## 被测硬件（已基准测试的特斯拉 GPU） GPU：K80、M10、M40、M60、P40、P100、V100、T40 CPU：E5-2687W 12核、E5-1680 8核 主板：华硕 X99-WS 单路、超微 X10DRG-Q 双路 ## 结果 除非另有说明，同一组结果中 CPU 和主板保持不变。所有测试使用相同的内存、机箱和电源。所有 GPU 均使用我的散热器（https://esologic.com/cooler/）并设置为自动模式。 ### GPU 代际对比 在第一组测试中，我们将按通用用例领域查看各代 GPU 的结果。预期是总体性能应随发布日期的推移而提升，图表中的柱状图从左到右按相应显卡的发布日期排序。 这里有几处令人惊讶的地方。在所有测试中，Tesla V100-16GB 的总体性能与（较为罕见的）T40 不相上下。V100 比 T40 历史悠久得多，价格也便宜得多。总体而言，Volta 架构相比前几代渐进式的提升，在性能上有了大幅飞跃。 如果你在网上随便搜搜，会发现很多人推荐 P40 而非 P100 用于 LLM，这些结果也支持这一发现。 M60 在 Whisper 上的表现给我留下了深刻印象。如果你有大量音频转写任务，M60 的售价仅为 50 美元。 ### GPU 扩展性 下一组测试考察的是随着系统中添加更多显卡，性能如何变化。预期是总体测试性能应随着添加的显卡数量增加而提升，但会因通信开销的增加而出现收益递减。 有趣的是，我们看到 LLM 吞吐量随着 GPU 数量增加而保持不变。这指向我一个关于 llama.cpp 配置的问题。如果你知道是怎么回事，欢迎随时提交 PR（https://github.com/esologic/gpu_box_benchmark/blob/master/benchmark_dockerfiles/llama_bench/Dockerfile）。 对于 K80 和 P100，除了 P100 上的 `CAT ViT Attention` 之外，我并没有看到太多收益递减的证据。其他更成熟的多 GPU 原生测试（ResNet50 和 SHA-256）随着 GPU 数量线性增长。我猜测：也许最终会出现收益递减，但那个临界点可能远在 4U 能装下的数量之外。 这对于希望添加专用 GPU 节点的家庭实验室爱好者来说是个好消息，也是本次特斯拉 GPU 基准测试工作的可喜成果。在这种情况下，机架空间已经用满，你希望它们尽可能高效。看起来，用 GPU 塞满机箱并不会因开销而浪费大量算力。 ### GPU 混用 这更多是一个假设性问题，但我很好奇如果将一块较新较贵的 GPU 与一堆廉价旧 GPU 组合会得到什么结果。 在混用中，V100 在 LLM 场景下被 P100 严重拖了后腿。对于其他测试，我的结论与上一节类似：GPU 越多越好，即使它们是混代的。 ### CPU 对比 GPU 需要 CPU 来喂数据。在选择 CPU 时，我们应该优化单核速度还是处理器总数？预期是更好的单核性能会带来整体更高的分数，但更多 CPU 能提供更多 PCIe 通道和更多 GPU。 按 GPU 类型细分的结果： 正如预期，通常更快的 CPU 核心会带来更好的分数。对于大多数结果来说，影响很小。然而，对于 Whisper 和 CAT ViT Attention，确实存在一个下降趋势，这与核心数增加和单核性能下降相对应。对我个人的使用场景来说，这是一个重要的发现，将在最后一节进一步讨论。 ### 主板对比 通过 A/B 测试主板，可能会发现信号完整性或供电方面的问题。这里测试的两块主板都是“工作站”级别，因此我不预计两者之间会有性能差异。 如预期，没有重大意外。你可以在 eBay 和 AliExpress 上找到非常非常便宜的 X99 主板。我实际上用过这些主板，效果不错，但从未围绕它们构建过关键系统。如果你尝试这样做，请告诉我，我可以推荐一些测试给你。 ## GPU 节点 BOM 对我来说，需要 GPU 盒子的 killer 应用实际上是我自己的一个项目 streamarize（https://github.com/esologic/streamarize）。这个项目将长格式直播流（来自 Twitch 直播 https://www.twitch.tv/esologic）处理成可直接上传的 YouTube 视频，附带时间戳、描述和缩略图。它还会生成“reels”风格的短视频，包含直播的加速版本。streamarize 的核心组件是 Whisper、Ollama 和 Content Aware Timelapse（https://github.com/esologic/content_aware_timelapse）。 M60 可能在 Whisper 吞吐量上表现出色，但对我来说，获胜的 GPU 是 V100。对于 CPU 和主板，我打算先尝试单颗 E5-1680 8核搭配华硕 X99-WS 主板。理论上，这应该能支持 3 块 V100，并留出空间安装一块 10GB 网卡。 ## 下一步 我现在已经有了相应的设置，可以添加更多测试或测试更多硬件。为了更好地对特斯拉 GPU 进行基准测试，我还遗漏了什么重要的东西吗？欢迎留言！接下来的步骤是获取缺失的硬件并构建系统。 感谢阅读！