用于分离式LLM服务的阶段解耦模型校准功率控制
摘要
本文提出了一种用于分离式LLM服务的阶段解耦、模型校准的功率控制方法,在MoE模型上与NVIDIA的Max-Q配置文件相比,展示了在最小延迟影响下的能效提升。
arXiv:2609.11133v1 公告类型:新
摘要:数据中心GPU功率是LLM服务容量的制约因素,生产服务已转向预填充/解码(PD)分离。在分离式B200系统上部署NVIDIA的Max-Q推理配置文件,我们发现其实际增益有限(+8.6% tokens/J),依赖于模型,并带来平均端到端延迟成本(+5.2%),而仅吞吐量评估无法体现这一点;该配置文件还对在相反硬件条件下运行的预填充和解码GPU应用同一设置。我们假设最优功率设置是部署的(模型、量化、引擎、硬件)组合的属性,而非GPU类别的属性,每个通道应有自己的配置文件,并且将SLO余量安全转化为能量需要在运行时SLO守卫下进行延迟门控校准,而非固定配方。我们提出一种阶段解耦、模型校准的控制器:预填充通道在SM时钟窗口下运行,其下限是通过设计保证的延迟;解码通道在通过自动校准放置的功率上限下运行,该上限略高于测量的吞吐量/延迟拐点。由于分离式解码通道消耗平稳的内存受限功率,上限持续有效,导致POLCA拒绝上限的反应性过冲弱点不存在,且GPU自身的功率管理器在上限下保持吞吐量。在8x B200节点上,在代理负载下服务Qwen3-Coder-480B(FP8),我们的平衡模式在+3.5%平均端到端延迟下提供+20.4% tokens/J,而Max-Q在+5.2%延迟下提供+8.6%,在两个轴上都是帕累托改进。在Qwen3-235B-A22B(NVFP4)上,每种操作模式在每次重复中都满足ITL-p99 SLO;两种供应商配置文件都未能满足。解码执行器A/B测试显示校准上限优于静态时钟锁定,三天持续运行节省了一对通道32.3%的电力。两个模型都是MoE;密集模型恢复约少5倍,因此我们将声明范围限定为MoE服务。
查看缓存全文
缓存时间: 2026/09/11 08:28
# 面向分离式大语言模型服务的相位解耦与模型校准功率控制 来源:https://arxiv.org/html/2609.11133 作者:Donghoon Yoo, Hanyul Ryu, Sungho Ha, Juyeon Lee, Soojung Ryu 单位:Xenoscube, Inc. 单位网址:https://xenoscube.ai/ 日期:2026年9月10日 #### 摘要 数据中心GPU的功率是大语言模型(LLM)服务能力的瓶颈约束,而生产环境的服务已转向预填充/解码(PD)分离架构。我们在分离式B200系统上部署了NVIDIA的Max-Q推理配置文件,发现其实际收益有限(+8.6% 令牌/焦耳),且依赖于具体模型,同时带来了平均端到端延迟开销(+5.2%),而仅以吞吐量为导向的评估无法揭示此问题;该配置文件还对处于相反硬件工作区间的预填充与解码GPU采用统一设置。我们假设:最优功率设置是部署的(模型、量化、引擎、硬件)组合的属性,而非GPU类别属性;每个处理通道应有其独立的配置文件;要将SLO(服务等级协议)余量安全地转化为节能,需要在运行时SLO保护下进行延迟门控的校准,而非使用固定方案。我们提出了一种相位解耦、模型校准的控制器:预填充通道在SM时钟窗口下运行,其下限本身就是延迟保证;解码通道则在自动校准设置的功率上限下运行,该上限略高于测量到的吞吐量/延迟悬崖。由于分离式解码通道具有平坦的、受内存带宽限制的功耗特性,功率上限会持续生效,因此POLCA曾因其导致的反应性超调弱点而拒绝功率封顶方案,但在此场景下该弱点不复存在,并且GPU自身的功率管理器能在功率上限下维持吞吐量。在8节点B200系统上,以代理负载运行Qwen3-Coder-480B(FP8)时,我们的均衡模式在平均端到端延迟增加+3.5%的情况下,实现了+20.4%的令牌/焦耳效率提升;而Max-Q模式在延迟增加+5.2%的情况下仅实现+8.6%的提升,在这两个维度上均实现了帕累托改进。在运行Qwen3-235B-A22B(NVFP4)时,我们的所有操作模式在每一次重复测试中均满足ITL-p99 SLO,而供应商的两个配置文件在某些测试中未能满足。一项针对解码执行器的A/B测试表明,经过校准的功率上限优于最优吞吐量和激进的静态时钟锁定(分别为+24.1% vs +17.2% vs +15.5% 令牌/焦耳),一次为期三天的持续运行节省了一对处理通道32.3%的电力。这两个模型都是混合专家模型(MoE);一项初步的稠密模型对比实验表明,节能效果要低约5倍,因此我们将结论范围限定在MoE服务。 ## 1 引言 LLM服务的边际资源不是芯片,而是功率:GPU集群在耗尽机架空间之前,就会耗尽数据中心的功率容量,因此从服务中节省的每一瓦特功率都转化为可部署的产能[2 (https://arxiv.org/html/2609.11133#bib.bib2), 3 (https://arxiv.org/html/2609.11133#bib.bib3)]。三种方案类型主导着实践: 1. **供应商静态配置文件**。NVIDIA的工作负载功率配置文件(“Max-Q推理”)对同一GPU类别应用固定的多旋钮方案(TGP限制、Fmax上限、DVFS曲线、显存时钟);对于LLM推理,其报告的收益是在2-3%性能损失下节省9-12%的数据中心功率[1 (https://arxiv.org/html/2609.11133#bib.bib1)]。该方案是*相位盲*的:相同的设置既应用于计算密集型的预填充GPU,也应用于内存带宽密集型的解码GPU,且其验证是针对GPU类别而非针对模型或服务栈进行的。 2. **集群功率管理框架**。POLCA[2 (https://arxiv.org/html/2609.11133#bib.bib2)]在A100上分析了LLM的功耗特性,并得出结论认为*频率锁定*是可靠的功率回收机制,明确拒绝了*功率封顶*,认为其是反应性的且不可预测。TAPAS[9 (https://arxiv.org/html/2609.11133#bib.bib9)]通过布局和路由在集群层面管理热设计和功率。 3. **相位感知的DVFS控制器(2025-26年)**。VoltanaLLM[6 (https://arxiv.org/html/2609.11133#bib.bib6)]、DualScale[7 (https://arxiv.org/html/2609.11133#bib.bib7)]、GreenLLM[13 (https://arxiv.org/html/2609.11133#bib.bib13)]、throttLL’eM[14 (https://arxiv.org/html/2609.11133#bib.bib14)]和DynamoLLM[8 (https://arxiv.org/html/2609.11133#bib.bib8)]认识到预填充/解码的不对称性,并对每个阶段的能耗进行控制。无一例外,它们的执行器都是频率选择,而一项2026年的研究认为,解码功率封顶是一种*幻觉*,时钟锁定仍然占据主导地位[15 (https://arxiv.org/html/2609.11133#bib.bib15)]。与此同时,生产环境的栈(Splitwise[3 (https://arxiv.org/html/2609.11133#bib.bib3)]、DistServe[4 (https://arxiv.org/html/2609.11133#bib.bib4)]、Mooncake[5 (https://arxiv.org/html/2609.11133#bib.bib5)]、NVIDIA Dynamo)将预填充和解码分离到不同的GPU池中,因为这两个阶段具有相反的瓶颈:预填充是计算密集型且功率饥渴的;解码是内存带宽密集型的,功耗平坦稳定且远低于TDP(热设计功率)。分离架构将先前功率优化工作需要在时间上追踪的瞬态阶段区别,转变为GPU通道的静态空间特性。相位感知的DVFS系列工作利用了这一点来决定*何时*进行调控,但继承了POLCA时代共识中的*调控什么*(时钟频率),而在分离架构下并未重新审视这一点。 **动机观察**。在我们分离的B200系统上部署方案(1),在一个480B代理负载上获得了+8.6%令牌/焦耳的效率提升和+5.2%的平均端到端延迟开销(§5.1):这是一个真实但有限的改进,且其延迟开销是配置文件的面向吞吐量的验证所未能揭示的。同时,即使在满目标并发下,该部署运行每个请求时,其延迟SLO也留有明显的余量:GPU以硅片允许的最快速度运行,以完成服务契约从未要求如此快速完成的工作。这些余量能否被转化为节能,而不是作为未请求的速度被浪费掉(§5.2)?一个能根据部署栈导出其设置的控制器,能否比一个固定的、保守的配置文件转化更多这样的余量(§5.1)?三种方案类型都没有从正在服务的特定组合中导出其设置,因此都无法定位可转化余量的位置。我们假设: - •**H1(基于组合的配置文件)**。最优功率设置是部署的(模型、量化、引擎栈、硬件)组合的属性,而非GPU类别的属性。因此必须*针对每个组合进行测量*,而这只有在校准是自动进行的情况下才实际可行。 - •**H2(基于相位的配置文件)**。在PD分离架构下,为预填充通道和解码通道分别设置*不同的*配置文件,能够回收任何单一的相位盲设置所必然放弃的能量,因为没有单一的工作点能同时适用于两个相反的硬件工作区间。 - **H3(SLO门控控制)**。要安全地转化余量,需要基于尾部SLO设定设定点,并通过运行时保护机制在条件变化时强制执行。静态类别配置文件无法做到这一点,因此它要么保留无法使用的余量,要么在无法响应的条件出现时违反尾部SLO。 我们的实验直接支持H1和H2,并部分支持H3(§5):我们经过校准的操作模式实现了供应商配置文件效率增益的1.5-3.4倍,且每一个延迟门控模式在每一次重复测试中都保持了尾部SLO,而两个静态供应商配置文件在部分运行中未能满足(§5.1)。我们明确指出数据未分离证明的部分:在任何记录的运行中,运行时保护机制从未触发,因此合规性对比可归因于延迟门控的校准,而非运行时干预,对保护机制的直接测试仍有待完成(§6)。 贯穿始终的设计原则是*功率控制策略的每个元素(机制、设定点和用于验证的指标)都应从部署栈的测量中导出*;在多个节点上,从直觉或仅从吞吐量评估得出的结论被测量结果所反驳,包括我们最初的执行器分配(§3.1)。 **一个超越假设的发现**。测试H2表明,两个通道受益于不同的*机制*,而不仅仅是不同的设置。在分离的解码通道上,经过校准的功率封顶优于静态时钟锁定(即POLCA推荐的执行器):校准到低于通道自然功耗的水平,功率封顶会持续生效(与[15 (https://arxiv.org/html/2609.11133#bib.bib15)]中的描述相反,这样的封顶并非无效),并且GPU内置的功率管理器能在其下分配频率以保持吞吐量;而低频锁定会导致吞吐量下降(在我们的A/B测试中下降了-31%到-33%),高频锁定则节省很少(§5.3)。预填充是计算密集型通道,属于时钟锁定适用的场景:功率与SM时钟紧密跟踪,一个经过校准的时钟*窗口*,其下限通过测量选择,本身就构成了延迟保证。两个设定点都必须针对(模型、量化、引擎栈)进行校准:解码悬崖和自然功耗会随着引擎配置(CUDA-graph设置、KV传输后端、引擎版本)以及模型和量化方式的变化而移动,大约一小时的自动扫描过程可以跟踪这一点,并将引擎指纹作为一等工件记录下来。我们的A/B测试将功率封顶与*静态*锁定进行了比较;与自适应逐迭代DVFS控制器[6 (https://arxiv.org/html/2609.11133#bib.bib6), 7 (https://arxiv.org/html/2609.11133#bib.bib7)]的对比超出了本文证据范围(§6)。 **贡献**: 1. **系统(§3)**。一种相位解耦的执行设计,具有*每个通道的异构机制*(预填充:DVFS窗口阶梯;解码:校准功率封顶),完全自动化的针对(模型、量化、引擎)的校准,并带有延迟门控的验收标准,以及一个操作模式阶梯(PERF/BAL/EFF),将效率/延迟权衡暴露为一个操作员可选、SLO保护的旋钮。分离式服务的相位感知能耗控制并非新概念[6 (https://arxiv.org/html/2609.11133#bib.bib6), 7 (https://arxiv.org/html/2609.11133#bib.bib7)];但基于测量为每个通道选择机制,针对每个服务栈进行校准,并通过尾部延迟进行门控,则是本文的创新。 2. **测量(§5)**。首次在B200分离式服务上,与已发布的NVIDIA Max-Q配置文件进行直接的、在线的头对头比较,涵盖了两个MoE模型(480B FP8, 235B NVFP4)和两种负载混合模式,并沿着负载轴(九个并发点)和时间轴(三次24小时运行)进行了扩展。我们的模式在代理负载上帕累托支配Max-Q,并在标准负载上将其工作点包含在我们的阶梯内。 3. **方法论(§4, §5.4)**。证据表明仅吞吐量指标会隐藏端到端延迟损害;一个基于平均e2e(Little定律)+ ITL-p99的评估视角;以及一项重复校准研究,表明对解码平坦吞吐量-功率曲线上的悬崖估计对噪声敏感,且仅基于吞吐量的验收会允许违反SLO的设定点。 **范围**:我们控制单节点通道上的稳态服务效率,针对MoE模型。我们利用的机制——解码通道功率余量——在路由稀疏性导致通道欠饱和时最大;附录A表明,相同的基于功率封顶的机制在规模相近的稠密模型上仅能回收约五分之一的效率提升,因此我们不对稠密模型做出声明。POLCA的集群级超额订阅目标是互补的(§6)。训练不在范围内:分离的空间相位分离在训练中不存在,且Zeus[17 (https://arxiv.org/html/2609.11133#bib.bib17)]、Perseus[18 (https://arxiv.org/html/2609.11133#bib.bib18)]和EnvPipe[19 (https://arxiv.org/html/2609.11133#bib.bib19)]已经涵盖了训练能耗。 ## 2 背景与动机 ### 2.1 PD分离式服务 LLM请求具有两个硬件特征相反的阶段。*预填充*并行处理整个提示:高算术强度,张量核心饱和,功耗飙升至接近TDP。*解码*逐个生成令牌:由权重和KV缓存读取主导,受内存带宽限制,GPU功耗平坦且远低于TDP。服务栈将这两个阶段分离到由KV缓存传输路径连接的独立GPU池(图1顶部),以保护解码的令牌间延迟(ITL)免受预填充干扰,并允许独立扩展池的规模[3 (https://arxiv.org/html/2609.11133#bib.bib3), 4 (https://arxiv.org/html/2609.11133#bib.bib4), 5 (https://arxiv.org/html/2609.11133#bib.bib5)]。分离架构对功率管理有一个未被充分利用的推论:每个GPU的瓶颈区间现在是静态已知的。解码池中的GPU在其整个服务分配期间都保持内存带宽受限状态,因此主导先前相位感知功率优化工作的相位识别问题简化为通道身份识别。 ### 2.2 GPU功率旋钮,以及先前工作的结论 GPU提供两个带内旋钮:*频率锁定*(固定SM时钟)和*功率封顶*(设备端功率管理器在功耗超过上限时降低时钟)。POLCA[2 (https://arxiv.org/html/2609.11133#bib.bib2)]在分析A100时代的共置服务时观察到,功率封顶是*反应性*的,因为提示阶段的峰值可能在节流生效前超过上限,而频率锁定可以可预测地回收功率。其策略基于时钟上限构建,同时承认了其代价:*“频率锁定在整个执行过程中都会带来性能影响,而不仅仅是在功率利用率高的时候。”* 在分离架构下,这两个前提都发生了逆转。超调场景需要预填充峰值,而解码通道没有这种峰值:对解码通道进行功率封顶是对一个平坦信号的稳态控制。而时钟锁定的恒定代价不再可接受,因为在内存带宽受限的通道上,吞吐量-功耗曲线在顶部附近是平坦的,而在其下方则呈悬崖状;高效的工作点正好位于静态时钟无法找到的悬崖之上,固定时钟则放弃了功率管理器在SM和显存之间动态重新分配预算的能力。 **机制划分的分析视角**。标准CMOS模型将GPU功率表示为 P≈Pstatic+CV²f∼A+Bf1+α,α>0,因为电压与频率协同扩展。将执行时间写为 T∼f−β,其中β∈[0,1]是工作负载的算术强度系数(β=1为完全计算受限,β=0为完全内存受限),则单位工作能耗变为 E=PT∼Af−β+Bf1+α−β。VoltanaLLM推导出相同的模型以激励*逐相位的频率选择*[6 (https://arxiv.org/html/2609.11133#bib.bib6)];我们将其向前推进一步,用于*机制*的选择。对于预填充通道,β≈1:时间与频率近乎成比例响应,因此经过校准的时钟下限本身就是延迟保证,而功率与f1+α成正比,这使得时钟窗口成为自然的效率调节旋钮。对于解码通道,β≪1:降低频率可以以亚线性的时间代价换取功耗节省,但仅限于带宽饱和点之上,低于该点流水线会崩溃(即§3.3中的悬崖)[6 (https://arxiv.org/html/2609.11133#bib.bib6), 7 (https://arxiv.org/html/2609.11133#bib.bib7)]。此外,β随批处理占用率增加而上升,因此能效最优频率*随负载移动*,静态锁定必须保守地设置在高位,否则有跨越移动最优点的风险。相位感知的DVFS系列通过在软件中逐次迭代预测最优值来应对;经过校准的功率封顶则通过固定功率预算并将频率决策委托给GPU自身的功率管理器来应对,后者以微秒级连续重新解决分配问题,无需训练可能出错的模型。我们的A/B测试(§5.3)测试了功率封顶相对于静态锁定的效果;软件预测的方案不在我们的证据范围内。NVIDIA的工作负载功率配置文件[1 (https://arx
相似文章
PALS: Power-Aware LLM Serving for Mixture-of-Experts Models
PALS是一种面向LLM服务的功耗感知运行时,将GPU功率上限视为可控旋钮,与批大小联合优化,以在满足吞吐量目标的同时最大化能效。该系统在功率约束下可将能效提升高达26.3%,并将QoS违规减少4倍至7倍。
ModeSwitch-LLM:一种轻量级阶段感知控制器,用于单GPU上的跨模式大语言模型推理
ModeSwitch-LLM 是一种轻量级控制器,将大语言模型推理请求路由到单GPU上合适的固定模式(例如FP16、量化、推测解码),在无需重新训练模型的情况下,实现高达2.10倍的延迟加速和51.7%的能耗降低。
用强化学习削减AI数据中心能耗:从单GPU到整个集群的LLM训练实测功率控制
一篇新的arXiv论文探索使用强化学习,通过动态控制大语言模型训练工作负载的功率,在从单个GPU到整个集群的规模上降低AI数据中心的能耗。
基于实际约束的点对点能源市场中,用于能源贫困公平的接地、计算高效的LLM策略智能体
本文提出了EqGrid,这是一个闭环仿真系统。在该系统中,一个LLM策略智能体在受物理约束的点对点能源市场中设定价格和碳排放上限,以促进能源贫困的公平性,并通过计算高效的模型展示了负担不平等的减少。
停止浪费电力
作者展示了如何在通过 llama.cpp 运行量化 Qwen 模型时,在不牺牲推理速度的前提下,将 RTX 4090 的功耗降低高达 40%。通过 nvidia-smi 限制 GPU 功耗上限并调整 llama-server 参数,用户可显著降低发热与噪音,并延长硬件使用寿命。