找到了冷却 DGX 的方法
摘要
有用户报告称，在运行 Qwen3.5-122b 模型且 GPU 高负载的情况下，成功使用自来水为 DGX 服务器降温，并维持了安全的温度水平。
在使用 Qwen3.5-122b-a10B Q6_K 精度进行连续视觉分析时，GPU 利用率达到 95%，自来水冷却使温度保持在 68 摄氏度以下。内存占用 110 GB，上下文窗口为 80k，生成速度为 18.77 tokens/秒。目前尚不确定需要多久更换一次冷却用水，但到目前为止一切良好。
相似文章
热还是不热？
作者正在为其DGX堆栈添加主动冷却，以管理长时间负载下的热量，并计划分享与comphy和DeepSeek flash相关的结果。
比热水浴缸还热：45°C突破为AI巨型机器降温
NVIDIA的Rubin代AI服务器实现了100%液冷，冷却液温度达45°C，大幅降低数据中心的能耗和水耗。
终于在我的V100 6GPU设置（TP2 PP3）上成功运行Qwen 3.8 Next
一位用户详细描述了在多GPU V100设置上运行Qwen 3.8 Next模型的过程，分享了故障排除经验、性能基准测试和热测试结果。
在RTX 5060 Ti上使用Extened Garlic以float8精度运行Qwen3.5 35B A3B，速度达55 tok/s
一种名为'Extened Garlic'的技术使得在RTX 5060 Ti上以float8精度运行Qwen3.5 35B A3B模型达到55 tok/s的速度。
停止浪费电力
作者展示了如何在通过 llama.cpp 运行量化 Qwen 模型时，在不牺牲推理速度的前提下，将 RTX 4090 的功耗降低高达 40%。通过 nvidia-smi 限制 GPU 功耗上限并调整 llama-server 参数，用户可显著降低发热与噪音，并延长硬件使用寿命。