找到了冷却 DGX 的方法

Reddit r/LocalLLaMA 新闻
dgx water-cooling local-llm qwen hardware-hacking

摘要

有用户报告称，在运行 Qwen3.5-122b 模型且 GPU 高负载的情况下，成功使用自来水为 DGX 服务器降温，并维持了安全的温度水平。

在使用 Qwen3.5-122b-a10B Q6_K 精度进行连续视觉分析时，GPU 利用率达到 95%，自来水冷却使温度保持在 68 摄氏度以下。内存占用 110 GB，上下文窗口为 80k，生成速度为 18.77 tokens/秒。目前尚不确定需要多久更换一次冷却用水，但到目前为止一切良好。
查看原文

相似文章

停止浪费电力

Reddit r/LocalLLaMA

作者展示了如何在通过 llama.cpp 运行量化 Qwen 模型时，在不牺牲推理速度的前提下，将 RTX 4090 的功耗降低高达 40%。通过 nvidia-smi 限制 GPU 功耗上限并调整 llama-server 参数，用户可显著降低发热与噪音，并延长硬件使用寿命。