token-level-credit

CoRT 提出了一种针对 GRPO 的令牌级信用加权方法，利用反事实重放计算令牌级的对数似然对比，将带符号的优势值重新分配到各个令牌上，无需辅助评分器，与响应级 GRPO 相比平均提升 4.4 个百分点。

FlowTracer是一个强化学习框架，它利用注意力诱导图来追踪推理流并分配词元级别的信用，从而提升推理任务的性能。