advantage-reweighting

STARE 通过引入惊奇度引导的令牌级优势重加权和目标熵调节，解决了基于GRPO的大语言模型强化学习中的策略熵崩溃问题，在AIME基准上实现了4%-8%的准确率提升。

GRAIL 引入了梯度重加权优势，以改进 LLM 推理强化学习中的 token 级信用分配，在多个模型上优于 GRPO。