标签
本文介绍了Retroactive Advantage Correction (RAC)，这是一种用于延迟感知RLHF的闭合形式偏差校正方法，通过将延迟奖励排队并使用V-trace风格的裁剪残差更新重新注入，来处理异步奖励信号。