每个成功目标的能量：自主AI系统的目标级能量核算

# 面向代理型AI系统的目标级能耗核算 来源：https://arxiv.org/html/2605.22883

Aakash Tyagi  
德克萨斯A&M大学  
计算机科学与工程系  
美国  
[email protected] (mailto:[email protected])

###### 摘要  
当前的AI能耗基准以单次模型调用或训练运行的粒度测量消耗。对于经典的单轮工作负载，这种单位是自洽的。但对于代理型系统——单个用户目标可能触发多步编排、工具调用、重试和故障恢复循环——调用次数是一种实现产物而非任务属性，推理级归一化系统性地错误表示了目标完成的真实能耗成本。我们提出**A-LEMS**（代理型LLM能耗测量系统），一个跨层测量框架，将AI能耗核算的基本单位从**每推理能耗**重新定义为**每成功目标能耗（EpG）**。EpG聚合所有执行尝试（包括失败和重试）的总工作流能耗，并按成功完成的目标数归一化。这将能耗评估从底层模型调用转向端到端任务完成，使测量与实际使用代理型系统的方式保持一致。除了重新定义单位，A-LEMS还通过三个耦合组件形式化了能耗归因：一个时间边界模型，定义工作流的归因窗口；一个五层观测流水线，通过基线减除和CPU分数归因将硬件级RAPL信号映射到工作流级能耗；以及一个可重复性协议，将每次测量绑定到硬件、环境和运行时配置。基于EpG，我们定义了编排开销指数（OOI），它隔离了多步编排相对于在相同任务和成功标准下、对相同目标实例进行线性执行所产生的额外能耗成本，从而实现了代理型和非代理型系统之间的一致测量。在五个推理任务族（事实问答、科学问答、算术推理、多步推理和逻辑推理）和三个工具增强任务族上，结合硬件级RAPL能耗分析，我们发现代理型工作流每成功目标能耗均值是等效线性基线的4.33倍（888.1J对比205.3J）。这种开销并非由推理计算增加驱动，而是由编排结构——包括重试、中间规划和恢复行为——驱动。关键的是，在工具增强任务中，当代理分发替代昂贵的令牌生成时，OOI反转至低于1.0倍：代理型执行严格更便宜，这证实了该指标响应编排结构，而非施加固定的向上偏差。这些发现表明，每推理能耗不足以评估现代AI系统：通过EpG和OOI进行的目标级核算为代理型AI工作负载中的准确基准测试和系统设计提供了测量基础，因为在此类工作负载中，能耗成本的首要决定因素是编排结构，而非推理底层。

能耗测量、代理型AI、RAPL、EpG、编排开销、LLM基准测试、可重复性、绿色AI

††ccs:计算方法论 人工智能  
††ccs:计算方法论 多智能体系统  
††ccs:硬件 功耗与能耗  
††ccs:计算机系统组织 能耗感知系统  
††ccs:软件及其工程 软件性能  
††ccs:总体与参考 测量  
††ccs:软件及其工程 软件验证与确认  
††ccs:软件及其工程 软件符号与工具  
††ccs:信息系统 数据库管理系统  
††ccs:计算机系统组织 实时系统

## 1. 引言：计量学的失败

### 1.1. 错误的单位

每推理能耗已成为AI能耗问责的事实标准（Strubel等人，2019 (https://arxiv.org/html/2605.22883#bib.bib1)；Patterson等人，2021 (https://arxiv.org/html/2605.22883#bib.bib2)；Oviedo等人，2025 (https://arxiv.org/html/2605.22883#bib.bib23)；Jegham等人，2025 (https://arxiv.org/html/2605.22883#bib.bib24)；Chung等人，2025 (https://arxiv.org/html/2605.22883#bib.bib62)）。对于经典批量工作负载——一个输入、一个输出——该单位是自洽的，因为推理次数由任务定义固定。在代理型系统中，这一假设被打破：单个用户目标可能触发多步编排、条件工具调用、重试序列和故障恢复循环（Oviedo等人，2025 (https://arxiv.org/html/2605.22883#bib.bib23)；Chien等人，2023 (https://arxiv.org/html/2605.22883#bib.bib25)），其深度由运行时而非规范决定。因此，推理次数反映的是实现行为而非任务结构。按推理次数归一化测量的是单个执行步骤的成本，而非完成一个目标的成本。这造成了测量单位与任务语义之间的错配。当使用推理次数对系统能耗进行归一化时，推理次数本身就是一个实现变量，那么该单位就无法满足这一要求。我们称之为单位错配。

### 1.2. 强制示例

考虑两个系统解决同一任务。系统A在第一次推理尝试中成功。系统B在第四次尝试失败后，第五次成功（图1 (https://arxiv.org/html/2605.22883#S1.F1)）。由此产生的5倍放大是一个受控的思想实验。¹ 假设每次推理步骤在相同硬件条件下具有可比较的能耗成本 $E_{\mathrm{inf}}$。实际上，失败尝试比成功尝试消耗更多能量，因为模型在产生无效输出前消耗了更多计算，因此真实差异比此处显示的5倍更大。在每推理能耗核算下，两个系统表现相同，因为只统一计算成功或执行的推理步骤。然而，总工作流能耗不同：系统A消耗 $E_{\mathrm{inf}}$，而系统B消耗大约 $5E_{\mathrm{inf}}$。这种差异源于推理级核算未将失败尝试或重试序列归因于发起该尝试的用户目标。相比之下，EpG（每成功目标能耗）聚合了与目标完成相关的所有尝试的能耗，明确地捕捉了这一差异。OOI（编排开销指数）将此差距表示为相对于匹配线性基线的比率；两者分别在第六节 (https://arxiv.org/html/2605.22883#S6) 和第七节 (https://arxiv.org/html/2605.22883#S7) 中正式定义。

¹ 强制示例是一个受控思想实验，旨在揭示重试情况下推理级核算的结构性失败。第八节 (https://arxiv.org/html/2605.22883#S8) 报告了实际工作流上经验观察到的放大结果；标题结果（4.33倍，见 §8 (https://arxiv.org/html/2605.22883#S8)）是读者应引用的真实测量值。

图1：两个系统在每推理能耗相同的情况下，在EpG下相差5倍；参见§8 (https://arxiv.org/html/2605.22883#S8) 了解测量的聚合结果。失败尝试在推理级核算中不可见；EpG通过构造捕获它们。

### 1.3. 一个真实的代理型执行轨迹

强制示例具有说明性。考虑一个在GSM8K算术问题上的具体代理型执行（图2 (https://arxiv.org/html/2605.22883#S1.F2)）。系统发出一个规划调用，分派两个工具调用，遇到JSON解析失败，重试，并合成答案。

目标：“解决GSM8K算术问题”  
（实验946，代理型，llama_cpp，failure_injection）

图2：真实代理型运行上的目标、工作流单元和重试累积（实验946，GSM8K-B，llama_cpp，failure_injection）。一个目标映射到一个含一次重试的工作流单元：一次失败尝试（2256 J）随后是一次成功尝试（1358 J）。EpG = 3614 J 累积两者；每推理能耗只计入成功尝试，遗漏了真实成本的62.4%。

重试阶段消耗的能量多于后续的成功尝试：在规范轨迹中，失败尝试消耗2256.1 J，成功尝试为1358.4 J，然而推理级基准测试通过构造完全排除了失败尝试。在远程推理运行的LLM API等待阶段，整体任务功率降至1.0 W，而主动规划阶段为0.2 W（表7 (https://arxiv.org/html/2605.22883#S8.T7)），若没有阶段级测量则不可见（Jegham等人，2025 (https://arxiv.org/html/2605.22883#bib.bib24)；Kneese和Young，2024 (https://arxiv.org/html/2605.22883#bib.bib26)）。单纯按持续时长分配能量的方法因此高估了推理成本，同时低估了编排与协调开销。这些失真在多步代理型工作流中不断累积。

### 1.4. 当前测量的四个问题

每推理能耗对于多步代理型工作流不是有效的单位。一个规划器发出四次LLM调用和两次重试，并不是“六次推理的能量”：它是一个目标级计算，其能耗分布在规划、执行、等待和恢复阶段。当前实践中存在四个不同的故障模式。

**单位问题。** 每推理能耗计量的是实现步骤，而非目标完成。一个系统重试四次才成功，消耗的能量是立即成功系统的5倍，但两者报告相同的每推理能耗。

**边界问题。** 使用TDP×壁钟时间分配能量的工具，将任务后框架清理纳入测量窗口。清理是两种工作流类型共享的固定绝对成本。由于线性工作流完成更快，此固定成本在线性能耗中占比大于代理型能耗——导致OOI分母相比分子增大更多，从而使比值趋近于1.0倍，无论真实编排开销如何（Schmidt等人，2022 (https://arxiv.org/html/2605.22883#bib.bib5)；Google Cloud，2024 (https://arxiv.org/html/2605.22883#bib.bib44)）。

**归因问题。** 原始封装能耗混淆了空闲系统功耗、并发进程活动和工作负载引起的消耗。没有显式的基线减除和CPU分数隔离，测量反映的是机器而非任务（Thamm，2025 (https://arxiv.org/html/2605.22883#bib.bib27)）。

**可重复性问题。** 若未将测量绑定到硬件身份、调节器策略和运行时配置，同一机器上相同工作负载在不同运行中会产生不同数值，使得跨论文比较毫无意义（Mytkowicz等人，2009 (https://arxiv.org/html/2605.22883#bib.bib47)；Pineau等人，2021 (https://arxiv.org/html/2605.22883#bib.bib48)）。第三节 (https://arxiv.org/html/2605.22883#S3) 至第五节 (https://arxiv.org/html/2605.22883#S5) 依次解决这些问题；第六节 (https://arxiv.org/html/2605.22883#S6) 定义了解决单位错配的目标级单位。

### 1.5. 为何现在提出

上述测量故障并非抽象担忧，也不是未来风险。据我们所知，没有任何已发表的代理型AI基准将能耗按成功完成的目标而非推理调用次数进行归一化（Oviedo等人，2025 (https://arxiv.org/html/2605.22883#bib.bib23)；Jegham等人，2025 (https://arxiv.org/html/2605.22883#bib.bib24)）。这种错配是根本性的：推理级归一化混淆了实现步骤与目标完成，隐藏了重试放大、编排开销和故障恢复成本。代理型AI部署正以缺乏有效能耗单位日益成问题的速度扩展。全球AI推理需求预计从2025年的15 TWh增长到2030年的347 TWh（施耐德电气，2025 (https://arxiv.org/html/2605.22883#bib.bib52)），而代理型系统每次交互消耗的能源远多于单轮推理工作负载（Chen等人，2026 (https://arxiv.org/html/2605.22883#bib.bib17)；Allianz Research，2026 (https://arxiv.org/html/2605.22883#bib.bib53)）。从单次推理到闭环迭代推理的转变，将主要能耗瓶颈从计算变为编排开销（Chen等人，2026 (https://arxiv.org/html/2605.22883#bib.bib17)），而推理级基准在结构上对此视而不见。

监管时间表加剧了紧迫性。欧盟《人工智能法案》于2024年8月生效，2026年8月全面执行，要求通用目的AI模型和高风险AI系统报告能耗（欧洲议会和欧盟理事会，2024 (https://arxiv.org/html/2605.22883#bib.bib54)；White & Case LLP，2025 (https://arxiv.org/html/2605.22883#bib.bib55)）。预计2026年初出台的欧盟数据中心能效一揽子计划将要求按系统报告能耗关键绩效指标（欧洲议会研究服务处，2025 (https://arxiv.org/html/2605.22883#bib.bib56)）。加利福尼亚州的SB 253法案要求从2026年起，收入超过10亿美元的公司披露范围1至3排放（施耐德电气，2025 (https://arxiv.org/html/2605.22883#bib.bib52)）。这些框架需要可重复、跨系统可比且与用户可见结果一致的能耗指标。每推理能耗无法满足代理型工作负载的任何一项要求。

这个问题也出现在已部署系统中。自2022年以来推理成本下降了280倍，引发反弹效应：更便宜的推理激励了更多代理型部署，每个部署每个用户目标消耗的能量比它们所替代的单次查询更多。推理层面的效率提升无法抵消这种增长（Allianz Research，2026 (https://arxiv.org/html/2605.22883#bib.bib53)）。没有目标级能耗单位，系统设计者和监管者都无法衡量当前规模下代理型AI的真实成本。

### 1.6. PUE类比

数据中心社区在早期大规模计算时代曾面临类似的单位错配。电能使用效率（PUE）作为一种实用补救措施出现：具有操作定义、经验可测量，尽管存在广为人知的指标操纵机会，仍被广泛采纳（Barroso和Hölzle，2007 (https://arxiv.org/html/2605.22883#bib.bib13)；The Green Grid，2012 (https://arxiv.org/html/2605.22883#bib.bib14)）。EpG和OOI对代理型AI扮演互补角色。EpG是绝对单位（焦耳每成功目标），可针对任何独立系统报告。OOI是比较比率，需要匹配的线性基线；EpG和OOI与PUE作用类似，因为两者都针对相对于生产基线隔离特定开销层——PUE中的设施开销和OOI中的编排开销。其他数据中心指标（如WUE）针对能源输出归一化不同资源，不具备此比率结构。与PUE类似，OOI在测量协议清晰定义时最有意义。