我对15款"E-Waste"GPU进行了现代工作负载基准测试
摘要
对15款被视为电子垃圾的老款GPU进行基准测试比较,测试它们在现代工作负载下的性能。
暂无内容
相似文章
对15款“电子垃圾”GPU进行现代工作负载基准测试
对15款退役的NVIDIA Tesla GPU(K80、P100、V100)进行现代AI工作负载基准测试,展示它们在家庭实验室推理设置中的可行性和性价比。
我比较了这里使用的主要GPU/机器的所有规格,因为带宽不是一切。你们有些人需要认清现实。
作者比较了用于LLM推理的各种GPU,批判了常见的基准测试,并强调了预填充性能比生成速度更重要,针对不同预算和使用场景给出了建议。
# GPU - 按性价比排序的 Vulkan llama.cpp 基准测试
社区汇编的 76 款 GPU 排名,使用 llama.cpp 的 Vulkan 后端进行本地 LLM 推理基准测试,按二手市场性价比排序。像 P102-100、MI50 和 Radeon VII 这类早期宽显存总线和 HBM2 显卡在性价比上占据优势,而现代中端显卡则受限于狭窄的显存总线,成为瓶颈。
在6GB RTX 4050上对20个小LLM的基准测试
对20个为6GB GPU量化的小LLM的详细基准测试,测量了不同上下文长度下的速度和VRAM使用情况,并对工具使用和指令遵循进行了定性探针。该报告旨在帮助拥有中等硬件的用户为本地私有的自动化任务选择模型。
我实测了 CMP170HX
对英伟达 CMP170HX 矿卡改作 64GB 显存 AI 推理加速器的实测基准测试,表明它们能以可用速度运行大型本地 LLM(如 DeepSeek V4-Flash 和 gpt-oss-120B),但存在 Ampere 级吞吐量和 PCIe Gen2 x4 连接方面的注意事项。