如果需要四颗GPU，那么“GPU小时”就不再是商品了（6分钟阅读）

# 如果你需要四块GPU，那“GPU小时”就不再是普通商品了 来源：https://davefriedman.substack.com/p/a-gpu-hour-isnt-a-commodity-if-you *请在此查看相关披露信息 (https://davefriedman.substack.com/about)。* 我最近在计算租赁市场 Vast.ai 上调查了1 (https://davefriedman.substack.com/p/a-gpu-hour-isnt-a-commodity-if-you#footnote-1) GPU 租赁价格。一块 H200 的租金大约是每 GPU 小时 3.93 美元。在不知道其他信息的情况下，这看起来很简单：你选择芯片，将每小时费率乘以你需要的 GPU 数量和所需小时数，然后拿到一张账单。 但如果你想要同一台机器里的四块相同 H200，那么符合条件的供应量就会减少一半，剩余供应价格还会上涨 4%。如果你想要八块，那可就麻烦了：样本中根本找不到任何价位的供应。租赁费率与可用计算的实际价格是两码事。 换句话说，计算定价的覆盖面依赖的是标称价格，但许多工作负载并不以这种方式消耗资源。标称价格说一块 H100 是一个价，一块 B200 又是另一个价。但训练、微调和高吞吐量推理需要同一台机器或集群中的多块相同 GPU，并配备足够的互连和足够长的可用窗口。分散的八块 GPU 小时并不能替代在同一台机器上同时使用八块 GPU 一小时。 为了衡量标称价格与实际工作负载价格之间的差距，我抓取了 Vast.ai 上的按需报价，只保留那些已验证、当前可租、至少可用七天、且挂载在可靠性评分不低于 99% 的主机上的报价。 经过筛选后的样本涵盖了五种加速器型号：A100 SXM4、H100 SXM、H200、B200 和 L40S。多个报价通常代表同一台机器上的不同捆绑包大小，因此我按物理机器去重。结果得到 37 台机器和 93 块列出的 GPU。 然后我分析了有多少供应量能够满足 1、2、4 或 8 块相同 GPU 的需求，以及每个规模下的最优可用价格。价格指标取前三个最便宜合格机器报价的中位数。这可以避免单个异常低价的影响。 [](https://substackcdn.com/image/fetch/$s_!bEtu!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F15c78f66-2154-49cd-a6d8-bae844c1da38_1800x1240.png)*由 GPT 5.6 Sol 生成的图表* 这个分析的一个有趣结果是，更大的集群不一定更贵。随着请求集群规模增大，大集群的供应量会减少，但报价通常不会随之匹配变动。H200 最能体现这一点：从一块 GPU 增加到两块，符合条件物理库存的 92% 仍以基本相同的价格可用；增加到四块，合格库存降至 50%，而价格指标从每 GPU 小时 3.93 美元升至 4.08 美元，上涨 4%；到八块 GPU 时，则没有任何符合条件的供应。 H100 和 B200 的供应更紧张。H100 的合格供应支持两块 GPU 的请求，但不支持四块。B200 样本只有两台物理机器，都最多支持两块 GPU，因此四块和八块 GPU 的可用性为零。A100 的表现符合预期：价格随供应下降而上涨。八块 GPU 的机器存在，价格指标从一块 GPU 基准的 0.60 美元/GPU小时升至 1.29 美元，连续溢价高达 114%。L40S 则好坏参半：其列出的库存中只有 35% 位于足可支持八块 GPU 请求的机器上，但唯一符合条件的机器却很便宜。这是一个薄薄的横截面订单簿，而不是平滑的供给曲线。 通常，稀缺性会影响价格。想想石油：如果需求上升而供应保持恒定，价格就会上涨。但这并不是计算市场的情况。计算是通过配置和可用性来进行配给的。一个市场可能总体上有数百个 GPU 小时，但买家仍然无法将它们组装成一个可工作的集群。制约因素是硬件代际、共置、网络、可靠性、预留时长、CPU、存储和地理位置。 但当没有合适的配置时，稀缺性永远不会表现为更高的交易价格。交易根本不会发生。因此，基于一块和两块 GPU 租赁价格构建的指数会让计算看起来充裕且稳定。然而与此同时，一家拼命寻找大集群的公司却根本找不到任何价位的可用资源。 这就解释了为什么大买家依赖双边容量协议。这些合同确保了特定时间点的特定配置。多余的容量最终会流向像 Vast.ai 这样的市场。 我们可以假设，首批计算期货合约将基于标准化的 GPU 小时基准来结算。这很合理，因为衍生品需要简单的定义和足够多的观测数据来支撑可信的指数。然而，一家公司买入 H100 期货以对冲未来四块或八块 GPU 的需求，会承担真正的基差风险。期货会对冲 H100 整体价格上涨的风险，但对共置容量的缺失无能为力。对冲生效了，但工作负载却跑不起来。 能源市场通过位置基差和固定供应与可中断供应之间的价差来管理这种剩余风险。类似地，计算市场很可能也会围绕拓扑结构建立一套体系。设想：通用 GPU 小时处于核心，再加上针对集群规模、互连质量、区域和可用性保证的溢价或单独合约。而这些集群小时和容量期权，最终可能比基础的 GPU 小时交易更活跃。 Vast.ai 只是一个单一市场。其列表是广告报价，而非已完成交易，其可见供应也不是全球已安装容量。几个较大集群的估算仅基于少数几台机器，因此请谨慎对待具体的溢价数据。 但可用性模式更难否认。当我将最低可靠性阈值在 98% 到 99.5% 之间变化时，结果依然成立。B200 仍然没有提供四块 GPU 的报价。H200 仍然没有提供八块 GPU 的报价。A100 仍然存在大集群溢价。样本量小恰恰是重点之一：一个标称的 GPU 价格可能基于一个看似活跃的市场，而针对某个特定可用配置的市场却几乎是空的。 如果你喜欢这份简报，不妨考虑和同事分享。 分享 买谣言，卖新闻 (https://davefriedman.substack.com/?utm_source=substack&utm_medium=email&utm_content=share&action=share) 我始终乐于收到评论、问题和反驳。如果你想直接与我联系，你可以： - **在 Twitter 上关注**我 (https://x.com/friedmandave) - **在 LinkedIn 上与我联系** (https://www.linkedin.com/in/frieddave/) - **发送电子邮件**至 dave [at] davefriedman dot co （注意不是 .com！）