一种估算 AI 功耗的更快速方法

<p>据劳伦斯伯克利国家实验室称，由于人工智能的爆炸式增长，预计到 2028 年，数据中心的耗电量将占美国总用电量的 <a href="https://newscenter.lbl.gov/2025/01/15/berkeley-lab-report-evaluates-increase-in-electricity-demand-from-data-centers/" target="_blank">高达 12%</a>。提高数据中心能源效率是科学家们努力使 AI 更具可持续性的途径之一。</p><p>为了实现这一目标，来自麻省理工学院和 MIT-IBM Watson AI 实验室的研究人员开发了一种快速预测工具，该工具可以告诉数据中心运营商，在特定的处理器或 AI 加速芯片上运行特定的 AI 工作负载将消耗多少电力。</p><p>与传统建模技术需要数小时甚至数天才能得出结果不同，他们的方法能在几秒钟内产生可靠的功率估算。此外，他们的预测工具可以应用于广泛的硬件配置——包括尚未部署的新兴设计。</p><p>数据中心运营商可以利用这些估算值，在多个 AI 模型和处理器之间有效地分配有限的资源，从而提高能源效率。此外，该工具还可以让算法开发者和模型提供商在部署新模型之前评估其潜在的能源消耗。</p><p>“AI 可持续性挑战是一个我们必须回答的紧迫问题。由于我们的估算方法快速、便捷并提供直接反馈，我们希望它能促使算法开发者和数据中心运营商更多地考虑减少能源消耗，”麻省理工学院的博士后、<a href="https://arxiv.org/pdf/2604.20105" target="_blank">该技术研究论文</a> 的第一作者 Kyungmi Lee 表示。</p><p>与她共同发表论文的有电气工程与计算机科学（EECS）研究生 Zhiye Song；IBM 研究院和 MIT-IBM Watson AI 实验室的研究主管 Eun Kyung Lee 和 Xin Zhang；IBM Fellow、IBM 研究院可持续计算首席科学家以及 MIT-IBM Watson AI 实验室成员 Tamar Eilam；以及资深作者、麻省理工学院校长、Vannevar Bush 电气工程与计算机科学教授以及 MIT-IBM Watson AI 实验室成员 Anantha P. Chandrakasan。该研究将于本周在 IEEE 系统和软件性能分析国际研讨会上发表。</p><p><strong>加速能源估算</strong></p><p>在数据中心内部，成千上万强大的图形处理单元（GPU）执行操作以训练和部署 AI 模型。特定 GPU 的功耗会根据其配置及其处理的工作负载而变化。</p><p>许多用于预测能源消耗的传统方法涉及将工作负载分解为单独的步骤，并逐步模拟 GPU 内部每个模块的使用情况。但是，像模型训练和数据预处理这样的 AI 工作负载极其庞大，以这种方式进行模拟可能需要数小时甚至数天。</p><p>Lee 说：“作为运营商，如果我想比较不同的算法或配置以找到最节能的执行方式，如果单次模拟需要几天时间，那将变得非常不切实际。”</p><p>为了加快预测过程，麻省理工学院的研究人员试图使用细节较少但可以更快估算的信息。他们发现，AI 工作负载通常具有许多可重复的模式。他们可以利用这些模式生成可靠但快速功率估算所需的信息。</p><p>在许多情况下，算法开发者编写程序以尽可能高效地在 GPU 上运行。例如，他们使用结构良好的优化措施，将工作分布在并行处理核心上，并以最高效的方式移动数据块。</p><p>“软件开发者使用的这些优化创建了规则的结构，这正是我们试图利用的，”Lee 解释道。</p><p>研究人员开发了一个轻量级估算模型，称为 EnergAIzer，它可以从这些优化中捕捉 GPU 的功耗模式。</p><p><strong>准确的评估</strong></p><p>但是，虽然他们的估算很快，研究人员发现它并未考虑到所有的能源成本。例如，每次 GPU 运行程序时，都需要固定的能源成本来设置和配置该程序。然后，每次 GPU 对一块数据执行操作时，都必须支付额外的能源成本。</p><p>由于硬件波动或在访问或移动数据时发生冲突，GPU 可能无法利用所有可用带宽，导致操作速度减慢并随着时间的推移消耗更多能源。</p><p>为了包含这些额外成本和方差，研究人员从 GPU 收集真实测量值，以生成应用于其估算模型的校正项。</p><p>“这样，我们就能获得既快速又非常准确的估算，”她说。</p><p>最终，用户可以提供他们的工作负载信息，例如他们想要运行的 AI 模型以及要处理的用户输入的数量和长度，EnergAIzer 将在几秒钟内输出能源消耗估算值。</p><p>用户还可以更改 GPU 配置或调整运行速度，以查看这些设计选择如何影响整体功耗。</p><p>当研究人员使用实际 GPU 的真实 AI 工作负载信息测试 EnergAIzer 时，它仅以约 8% 的误差估算功耗，这与可能需要数小时才能产生结果的传统方法相当。</p><p>只要硬件在短期内没有发生剧烈变化，他们的方法也可用于预测未来 GPU 和新兴设备配置的功耗。</p><p>在未来，研究人员希望在新款 GPU 配置上测试 EnergAIzer，并扩大模型规模，使其能够应用于协作运行工作负载的多个 GPU。</p><p>“要对可持续性产生真正影响，我们需要一种能够为硬件设计者、数据中心运营商和算法开发者提供跨整个堆栈的快速能源估算解决方案的工具，以便他们都能更加意识到功耗问题。有了这个工具，我们向这一目标迈出了一步，”Lee 说。</p><p>这项研究部分由 MIT-IBM Watson AI 实验室资助。</p>