论文页面 - DumpsterCluster：从废旧硬件到用60美元GPU运行LLaMA-70B

来源：https://huggingface.co/papers/2608.14614
发布于 7月10日
·
由 https://huggingface.co/iliashum 提交

i (https://huggingface.co/iliashum) 于 8月18日

摘要

退役GPU可组建低成本集群用于大语言模型推理，但其经济与环境可行性高度依赖当地电价和碳排放强度。

随着AI数据中心淘汰仍可运行的GPU，大量功能尚存的加速卡流入二手市场。本研究探讨这些退役GPU能否获得“新生”，构建一个DumpsterCluster (https://huggingface.co/papers?q=DumpsterCluster)来支持现代大语言模型推理，并分析这种再利用在何种条件下具备经济可行性和环境可持续性。我们使用二手组件从零搭建了128块GPU的DumpsterCluster (https://huggingface.co/papers?q=DumpsterCluster)并运行一年。按当前市场价格（该DumpsterCluster (https://huggingface.co/papers?q=DumpsterCluster)成本约2.2万美元，而8块B200系统需60万美元），经济优势显著。通过流水线并行优化 (https://huggingface.co/papers?q=pipeline-parallel%20optimizations)，基于V100的DumpsterCluster (https://huggingface.co/papers?q=DumpsterCluster)实现了有竞争力的LLaMA-70B (https://huggingface.co/papers?q=LLaMA-70B)吞吐量，验证了生产可行性。然而，部署揭示了关键的情境依赖性：旧GPU每token能耗显著更高，仅在电价低廉地区总拥有成本 (https://huggingface.co/papers?q=total%20cost%20of%20ownership)才具备优势。在电网平均碳排放强度 (https://huggingface.co/papers?q=carbon%20intensity)下，二手系统对于8B模型的每token总碳排放量约为当前硬件的4倍，对于70B模型则超过40倍。这表明GPU的二次利用并非普遍可持续——硬件再利用必须战略性地与低碳能源结合。当部署于能源经济性良好且使用清洁电力的地区时，二手GPU (https://huggingface.co/papers?q=second-hand%20GPUs)为扩展AI算力、提升可负担性、保障能源安全及履行环境责任提供了可行路径。

查看arXiv页面 (https://arxiv.org/abs/2608.14614) | 查看PDF (https://arxiv.org/pdf/2608.14614) | 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.14614)

通过工具获取本论文：
hf papers read 2608.14614
尚未安装最新CLI？请运行：curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型

无模型关联此论文
在模型README.md中引用 arxiv.org/abs/2608.14614 即可从本页链接。

引用本论文的数据集

无数据集关联此论文
在数据集README.md中引用 arxiv.org/abs/2608.14614 即可从本页链接。

引用本论文的Space

无Space关联此论文
在Space的README.md中引用 arxiv.org/abs/2608.14614 即可从本页链接。

包含本论文的集合

无集合收录本论文
将本论文添加至集合 (https://huggingface.co/new-collection) 即可从本页链接。