Quota Marketplace：面向ML训练资源高效分配的动态定价

# 配额市场：通过动态定价实现机器学习训练资源的高效分配 来源：https://arxiv.org/html/2607.09802 Balasubramanian Sivan∗,1Renato Paes Leme∗,1Mihai Tiuca∗,1Ian McFarlane1Vasilis Gkatzelis1,2 Nehal Mehta1Soheil Hassas Yeganeh1Vahab Mirrokni1Amin Vahdat1\(1谷歌，2德雷塞尔大学\) ###### 摘要 近年来，对机器学习（ML）训练资源的需求急剧增长，导致高需求与可用供应之间存在巨大差距。高效分配这些稀缺且昂贵的资源对于组织最大化投资回报至关重要。现有的资源分配机制，如Karma[VFACKT23]，旨在保证在用户需求动态（随时间变化）的情况下实现帕累托效率和最大最小公平性，但在面对具有异质性价值的需求时却无法保持这些关键属性。鉴于不同工作负载在组织价值上的异质性是普遍且不可避免的，有效的资源分配策略必须适应这些差异。在本文中，我们描述了配额市场（Quota Marketplace）的设计、实现、部署和理论分析，这是一种基于市场的机制，用于高效分配ML训练芯片（如GPU），明确解决具有异质性价值的需求场景。我们详细介绍了该机制在谷歌内部的实现，并展示了其影响的指标。我们还讨论了配额市场有效处理的许多业务关键需求，并记录了它带来的收益和机遇。我们从理论上证明了这种基于市场的方法如何通过允许用户表达其工作负载的价值，并根据供需波动实现动态资源定价，从而达成帕累托效率和最大最小公平这两个基本属性。最终，市场促进了与组织优先级相一致的资源分配。 11脚注：同等贡献。 ## 1 引言 人工智能（AI）计算的需求经历了前所未有的增长，连续八年每年增长超过十倍，导致在这八年期间增长了1亿倍[CloudNext25]。大型科技公司已公开披露了2025年各自数百亿美元的巨额资本支出（CapEx）预算，以应对这一日益增长的需求。这种指数级增长在AI计算资源（特别是机器学习加速器，如GPU）的需求和供应之间造成了越来越大的差距。因此，由于这些资源的高成本和有限可用性，组织必须在各个团队和产品之间实施最大化投资回报率（ROI）的高效分配策略。在本文中，我们描述了配额市场（QM）——一个在谷歌设计、实现、经过理论分析并完全部署的基于市场的系统，用于在各部门的团队之间分配ML芯片。该部署系统为谷歌所有业务部门的*ML训练工作负载*分配了数十万个ML加速器。配额市场的覆盖范围占谷歌*整个ML集群*的两位数百分比。我们首先概述QM在ML调度栈中的位置以及池的概念。随后在第2节（https://arxiv.org/html/2607.09802#S2）中详细描述QM的概念和实现。 #### QM与ML训练调度栈概览。 ML计算资源（ML加速器或ML芯片），与非ML计算资源（CPU）类似，传统上被划分为*静态*池。每个池对应一个具有不同目标、成本核算和资源的业务部门（BU），池管理员/规划者明确将加速器分配给该BU内的团队。需求评估和优先级排序程序通常每季度或每半年进行一次，决定了芯片在各个池之间以及给定池内各团队之间的分配。然后，这种分配或多或少保持静态（尤其是跨池的分配），直到下一次评估。 参考图注 图1：QM在ML（训练）调度栈中的位置

鉴于ML训练工作负载日益突出，以及其批量计算需求（比服务工作负载更能容忍抢占）——配额市场的构想是通过将跨池视角纳入分配决策，使加速器分配既动态又灵活，且经济上更高效。图1（https://arxiv.org/html/2607.09802#S1.F1）简要总结了QM在ML调度栈中的位置。从概念上讲，与静态池相比，*动态池*有两个主要区别：（a）QM用动态加速器分配取代了静态分配；（b）QM跨所有动态池做出这些分配决策，而不是像静态池那样在单个池内做出分配决策。在QM运作的动态池中，公司级管理员负责为不同池分配市场权重，以反映这些部门带来的业务影响。每个池的管理员负责为各自业务部门内的团队分配信用（credit），信用是与位置无关、与资源类型无关的令牌，同样反映各个团队带来的影响。传统静态分配中那种繁重、沟通密集、耗时一季度的基于人工谈判的优先级排序流程，现在被基于供需的资源分配决策所取代，这些决策既在池内团队之间进行，也在池之间进行，频率大约为每分钟一次。除了QM带来的资源分配响应速度提升数个数量级之外，QM在清算供需时采用的跨池视角自动使资源分配在经济上更加高效。更详细地说，QM通过计算每种资源类型在任意给定时刻的清算价格来确定资源分配。价格动态选择，以使调度队列中的*实时*需求与相关ML加速器的*实时*供应相等。市场大约每分钟“清算”一次（通常更快）。通过将由自动竞价算法（QM为团队提供该算法）生成的实时团队出价与这些价格进行比较，QM决定哪些团队获得资源以及获得多少。因此，池（即动态池）中的配额并非保证获得，而是由市场条件决定，使其非常适合探索性工作负载和具有灵活SLA的任务，这正是大多数ML训练工作负载的情况。我们现在讨论配额市场带来的诸多好处和机遇。 #### 面对高度波动的供需的敏捷性。 ML芯片的可用供应是高度动态的。新的硬件容量每天上线，通常日程并不完美。资源也经常因各种原因在短时间内被不可预测地收回，例如，由于流量突然激增而需要服务生产负载。另一方面，如前所述，基于人工的需求评估和优先级排序程序通常每季度或每半年进行一次。为了保持分配速度，各种流程过去常常依赖于容易获得的资源缓冲区，但这些缓冲区在很大程度上处于未充分利用和未优先化状态。一个健壮的系统必须在分钟级别（而不是季度级别）响应快速容量增加和快速收回/重新分配。这将直接有助于大幅减少生产团队维护的缓冲区，因为他们可以在检测到即将到来的流量激增时及时收回资源。正如我们在第3节（https://arxiv.org/html/2607.09802#S3）中用数据说明的那样，这种回收的“额外”容量是巨大的，有时达到总承诺容量的量级，而对其低优先级的利用会导致显著的机遇成本。换句话说，QM显著增加了芯片的*公司优先化占用率*，而不是机会性占用率（可以看作是随机分配芯片），我们在第3节（https://arxiv.org/html/2607.09802#S3）中用数据证明了这一点。话虽如此，QM也提高了芯片的整体占用率（不仅仅是公司优先化占用率），因为它避免了静态池固有的隔离问题（也在第3节中用数据证明）。隔离导致未使用的容量，其他池的工作负载即使想机会性地使用也常常不容易获得。 ML芯片的需求与其供应一样动态。事实上，直接从公司业务优先级推导出每个团队对特定ML芯片的需求是一项极具挑战性的任务。我们波动的使用模式包括计划中的模型训练运行，以及用于演示、探索性研究、会议投稿冲刺的短时间爆发，这加剧了问题。因此，负责公司层面（即跨所有池）资源分配的人员，虽然了解高层业务目标，但往往缺乏对单个请求的时间敏感性、空间灵活性（即芯片需要在哪里）、使用量和相对优先级等细微洞察。相反，工程团队了解每个工作负载的详细要求，但缺乏在跨不同项目和业务部门之间进行优先级排序所需的更广阔视角。因此，静态池优先级排序程序背后的固有假设——即我们能够对整季度芯片需求做出相当准确的预测——是高度可疑的。此外，无论我们的预测有多好，在面对高度动态的需求模式时，资源的静态分配是非常次优的。我们需要一种机制来根据实时需求迅速调整分配。QM通过根据实时需求实现持续的动态竞价来达成这一点。 #### 提高生产力和节约工程资源。 QM显著减少了团队在一个季度或半年内必须与其BU池管理员协商以获得更多容量的频率。在静态池中，当需求激增时（如讨论所示，这并非罕见），工程师不可避免地会与管理员交互以暂时获得更多容量。通过静态分配满足每个人*峰值*需求的芯片来解决这个问题是不可行的。动态分配是不可避免的。在QM中，这些协商相对罕见，即使有必要，QM也使管理员的任务变得简单得多——只需增加相关团队的信用分配（如果他们的请求被认为值得），无需担心从哪个团队收回芯片来资助这个请求。与芯片和芯片小时不同，信用（a）不是零和的，（b）是{资源类型，位置}无关的。因此，在不改变其他团队信用的情况下增加一个团队的信用是完全有效的。 #### 在严重稀缺情况下的激励对齐。 ML计算资源非常稀缺（需求远超供应），资源的稀缺性不可避免地驱使参与者采取策略性行为。因此，一个健壮的资源分配机制必须将用户激励与设计者的目标（如效率和公平）对齐。为了实现这些目标，资源分配系统应激励需求推迟到较不拥堵的时间段、地理位置或资源类型。一个好的机制应通过激励团队放弃他们价值不高的资源，以便这些资源可以被需求更迫切的团队使用，从而防止“用进废退”的情景。同样，考虑到不同加速器代际产生的各种可用资源类型，该机制应激励团队使用拥堵程度较低的资源类型。最后，系统必须提供清晰的信号，使用户能够有效地规划在何时何地运行其工作负载。在QM中，价格具有双重目的：它们提供（a）经济激励，以及（b）关于资源拥堵程度及其如何随时间和地点变化的透明信号。 #### 保证的效率和公平性。 在分配稀缺资源时，一个核心系统目标是实现效率和公平属性。效率的一个基本概念是帕累托效率：如果不存在另一种分配能够（a）使所有用户的效用弱提高，并且（b）使至少一个用户的效用严格提高，那么该分配就是帕累托最优的。一个较弱的要求（也是帕累托效率直接隐含的）是避免尽管存在需求但资源闲置的情况。在公平性方面，分配计算资源时的标准目标是实现（近似）最大最小公平，该目标旨在最大化任何用户被分配的最小资源量（或效用）。在大型组织背景下，这通常扩展到加权最大最小概念，即根据每个团队对核心业务优先级产生积极影响的潜力来归一化其“公平份额”。在第4节（https://arxiv.org/html/2607.09802#S4）中，我们精确定义了帕累托效率和最大最小公平，并展示了QM如何保证这两者。 #### 减震器。 QM充当整个公司的减震器，能够处理外部事件引起的显著容量波动。无论是由于一个备受瞩目的LLM应用发布并获得了客户的大量关注，需要数十万个加速器，还是高优先级的外部演示，或是云客户需求的激增，系统都能在不需人工干预的情况下有效吸收这些冲击。这不仅仅是前面提到的处理这些请求的敏捷性，也是关于根据组织优先级以最公平的方式分配扩容或收回带来的收益或痛苦。冲击也可能朝着另一个方向：QM使得临时添加到系统中的高度碎片化资源（来自服务缓冲区或持有池）能够得到经济高效的使用。 #### 先前的方法。 先前工作中的两大类方法是“静态分配”和“芯片小时”机制。 *静态分配*。这是前面讨论的传统静态池背后的思想。考虑一个简单的场景，只有一种类型的资源，如ML加速器，需要在多个用户之间分配。最流行的解决方案之一是通过在用户（或团队）之间分割该资源来进行静态分配[atikoglu2012workload,VMATMC20]，而不考虑他们的需求。它有效地创建了隔离的池，提供了强大的可用性隔离，并维护了公平性。然而，关键是，它不满足帕累托效率，因为它忽略了需求。最大最小公平[DRF11,grandl2016altruistic,hong2013achieving,jain2013b4,narayanan2021solving,narayanan2020heterogeneityaware,popa2012faircloud,pu2016fairride,shue2012performance]通过将需求纳入决策过程解决了这个问题，并同时实现了帕累托效率和公平性：它最大化所有参与者的最小分配，但受制于不超过其需求。但是，最大最小公平机制的效率保证在很大程度上依赖于用户需求是静态的假设。