hardware-benchmarks

作者计划花费100美元使用云GPU对Qwen3.8-27B模型进行基准测试，包括不同的量化级别和KV缓存设置，重点关注编码和智能体任务，为本地AI爱好者提供有用数据，并寻求社区对测试方法的意见。

作者比较了用于LLM推理的各种GPU，批判了常见的基准测试，并强调了预填充性能比生成速度更重要，针对不同预算和使用场景给出了建议。

本文深入解析内存带宽作为本地 AI 硬件性能的关键指标，对比了 NVIDIA、Apple、AMD、Intel 等厂商在不同性能层级下的当前 GPU 与统一内存系统。