标签
This paper introduces PAIR, a pairwise-aware inclusion reweighting method for adaptive rollout allocation in RLVR, improving sample efficiency and accuracy over pointwise allocators by correcting biases in pairwise gradient estimation.
本文提出SARA，一种面向RLVR的顺序自适应rollout分配方法，该方法提前放弃饱和组并重新分配预算，相比动态采样，在rollout数量减少22%的情况下达到相当精度，若与之结合则可节省高达67%。
TRACE是一个统一的展开预算分配框架，通过基于前缀信息性在树状展开中动态分配资源，增强多轮智能体强化学习中的奖励对比。它在Multi-Hop QA等智能体基准测试上提升了效率和准确性。