counterfactual-replay

CoRT 提出了一种针对 GRPO 的令牌级信用加权方法，利用反事实重放计算令牌级的对数似然对比，将带符号的优势值重新分配到各个令牌上，无需辅助评分器，与响应级 GRPO 相比平均提升 4.4 个百分点。