gpu-comparison

用户正在评估是否将4060 Ti 16GB GPU添加到现有的多GPU设置中，该设置使用3060系列GPU进行AI模型并行处理和游戏，权衡额外显存带来的好处与潜在的显存带宽限制。

本文通过每GB成本及带宽指标对各类GPU进行对比，旨在帮助用户优化脚本运行性能。

用户考虑将5060ti 16GB升级为1x32GB V100或2x16GB V100，以在llama.cpp中运行Qwen 3.8模型时获得更好性能，并询问同价位其他选择。

用户正在比较GPU选项，如R9700、Mi210和4080S，以实现128GB VRAM用于并行运行多个AI模型，考虑因素包括成本、性能和兼容性。

一位用户正在寻求构建预算型家用 AI 服务器（32-48GB 显存）的建议，正在 AMD RX 9060 XT 和 Nvidia RTX 5060 Ti GPU 之间犹豫，并纠结于使用 AM5 还是二手 EPYC 平台来进行本地 LLM 推理和大型 MoE 模型卸载。

用户分享了在运行MiniMax M2.7 REAP 139B Q3_K_L模型时，6块AMD MI50（96GB）与6块NVIDIA P40（144GB）的基准测试对比结果，显示P40在提示处理（prompt processing）方面更快，而MI50在令牌生成（token generation）方面更快。

AMD RX 9070 XT 与 NVIDIA RTX 5070 Ti 显卡的对比，可能涵盖性能、特性和性价比。

作者比较了用于LLM推理的各种GPU，批判了常见的基准测试，并强调了预填充性能比生成速度更重要，针对不同预算和使用场景给出了建议。

作者在Strix Halo、RTX 3090和RTX 5070上使用了多个后端，进行了55次推理基准测试。结果揭示，显存带宽主导解码速度，RTX 5070在小模型上击败RTX 3090，而推理模型因隐藏的推理内容看起来慢约5倍。

一位用户报告称，在使用相同模型和设置的情况下，llama.cpp 的 ROCm 后端比 Vulkan 后端消耗的 KV 缓存显存显著更多，这引发了对其潜在原因的探究。