@modal：使用 RL 训练大型模型通常在由最新加速器组成的固定同构集群上进行，以确保数值稳…

X AI KOLs Timeline 论文
reinforcement-learning heterogeneous-computing mixed-precision agentic-coding off-policy-correction distributed-training gpu

摘要

我们使用全异步强化学习，通过混合精度、混合加速器采样器，在智能体编程任务上训练了一个模型，并通过应用离策略校正，以更低的成本实现了与同构集群相当的训练稳定性。

使用强化学习（RL）训练大型模型时，通常会采用由最新加速器组成的固定同构集群，以保证数值稳定性并提高吞吐量。这种做法浪费了针对其他厂商和不同代际硬件所做的推理优化工作，限制了可利用的算力，而且带来了不必要的高昂成本。 因此，我们采用完全异步的强化学习，以及混合精度、混合加速器的采样器，在智能体编程任务上训练了一个模型。通过离策略校正，训练在直至收敛的整个过程中始终保持稳定，效果与使用同构采样器相当，而成本更低。
查看原文
查看缓存全文

缓存时间: 2026/10/15 06:07

使用强化学习（RL）训练大模型通常在由最新加速器组成的固定同构集群上进行，以保证数值稳定性并提高吞吐量。这种做法无法利用针对其他厂商和不同代际硬件所做的推理优化，限制了可用的算力容量，还带来了不必要的高昂成本。

因此，我们采用完全异步的强化学习，以及混合精度、混合加速器的采样器，在智能体编程任务上训练了一个模型。借助离策略校正，训练过程始终保持稳定直至收敛，效果与同构采样器相当，成本却更低。

相似文章