@Snixtp: 针对单张 RTX 3090 的更多能效测试 长文速读：- 我在单张 RTX 3090 上测试了 8 个本地大语言模型（LLM），功率限制从 100W 到 45…

X AI KOLs Following 新闻
local-llm rtx-3090 hardware-efficiency benchmark inference-performance

摘要

本文展示了 8 个本地大语言模型在 RTX 3090 上的基准测试结果，显示功率能效在约 225W 时达到峰值，而在满功率下收益递减。

针对单张 RTX 3090 的更多能效测试 长文速读： - 我在单张 RTX 3090 上测试了 8 个本地大语言模型（LLM），功率限制范围从 100W 到 450W。 - 在整个测试集中，最佳能效始终出现在 225W 至 250W 区间。 - 在 225W 功率下，显卡平均输出速度为 90.4 tok/s，能效比为 0.4167 tok/s/W。 - 在 450W 功率下，速度提升至 107.1 tok/s，但能效比下降至 0.2731 tok/s/W。 - 因此，最大功耗仅带来了约 16.7 tok/s 的速度提升，却多消耗了约 184W 的电力。
查看原文

相似文章

探寻4x 3090的甜点

Reddit r/LocalLLaMA

一位用户分享了在运行Qwen3.6-27B与vLLM的4x RTX 3090平台上进行的功耗限制测试，发现220W是在最小化吞吐量损失下实现峰值效率的甜点。

3090 FE 用户注意：运行大语言模型会导致显存过热

Reddit r/LocalLLaMA

运行本地 LLM 的 RTX 3090 Founders Edition 用户可能正在把显存“烤熟”：基准测试显示，默认风扇和功耗曲线会让 GDDR6X 在开始生成 token 后的几秒内达到 112°C，远高于其 96°C 的持续运行额定温度。发帖者建议将显卡功耗限制在 270W，并将风扇转速设为 100%（或限制在 240W，风扇转速设为 70%），代价是吞吐量下降约 30%；他还指出，降压并无帮助，因为 Nvidia 只在功耗超过 300W 时应用时钟频率偏移。