@robertnishihara: 一个关于RL中解耦重要性的绝佳案例。来自论文：LLM生成在预填充和解码之间交替…

X AI KOLs Following 论文
reinforcement-learning disaggregation inference prefill decode gpu-optimization ray

摘要

Robert Nishihara 强调了一篇关于解耦RL工作负载的论文，表明使用计算优化的H800进行预填充，带宽优化的H20进行解码，可以分别将rollout时间减少21-51%和47%，强调没有单一硬件类型适合所有阶段。

一个关于RL中解耦重要性的绝佳案例。来自论文： LLM生成在预填充和解码之间交替 预填充是计算密集型的 H800是计算优化的 在H800上进行预填充可将rollout时间减少47% 解码是带宽密集型的 H20是带宽优化的 在H20上进行解码可将rollout时间减少21-51%。 除此之外，预填充与解码的比例取决于任务特性（例如，需要大量上下文压缩的多轮任务主要是预填充密集型）。 而预填充/解码只是推理的一部分。还有许多其他组件具有不同的硬件需求。 引用论文中的内容： 环境是有状态的、CPU密集型进程，其延迟由于主机争用、交互回合的巨大差异以及环境故障而呈现重尾分布。 奖励工作者是无状态的，且利用率持续偏低——在专用GPU上低至7.4%——但需要在轨迹完成时进行弹性伸缩。 训练需要具有快速互联的高端GPU。 没有单一硬件类型能满足所有阶段。
查看原文
查看缓存全文

缓存时间: 2026/06/20 18:20

关于 RL 中分解重要性的绝佳示例。摘自论文： LLM 生成过程在预填充与解码之间交替。 预填充属于计算密集型任务。 H800 针对计算性能进行了优化。 在 H800 上执行预填充可使生成时间缩短 47%。 解码属于带宽密集型任务。 H20 针对带宽性能进行了优化。 在 H20 上执行解码可使生成时间缩短 21% 至 51%。

除此之外，预填充与解码的比例取决于任务特性（例如，需要大量上下文压缩的多轮任务，其预填充开销占比更重）。

此外，预填充 / 解码仅关乎推理环节。还有许多其他组件对硬件有着不同的需求。

引用论文中的表述： 环境是有状态的、CPU 密集型进程，其延迟呈重尾分布——由主机争用、交互轮次方差大以及环境故障所致。 奖励工作负载是无状态的，且在专用 GPU 上利用率持续偏低——最低可降至 7.4%——但当轨迹完成后又需要弹性伸缩。 训练则需要配备高速互联的高端 GPU。

没有任何一种单一硬件类型能够满足所有阶段的需求。

ray (@raydistributed): RollArt 是大规模 RL 中分解技术的一个令人印象深刻的范例。

相似文章