论文页面 - Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short

来源: https://huggingface.co/papers/2606.09380

摘要

Reasoning Arena 通过使用轨迹锦标赛和 Bradley-Terry 模型，从非多样化奖励组中生成有意义的梯度，从而改进了基于可验证奖励的强化学习，带来更快的训练和更好的推理性能。

基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，简称 RLVR）已成为通过结果导向监督（outcome-based supervision）提升大语言模型推理能力的主流范式。然而，可验证奖励在组级别上经常变得缺乏信息性：当某个提示的所有采样轨迹获得完全相同的奖励时，组相对优势估计（group-relative advantage estimation）无法提供任何梯度信号，即便这些轨迹在推理质量上可能差异显著。我们提出了 Reasoning Arena，一种自适应训练框架，它将这类非多样化奖励组导向评审系统（judge system）而不是直接丢弃它们。除了检查最终答案，Reasoning Arena 还构建了轨迹锦标赛（trace tournaments），通过两两直接比较推理轨迹来揭示组内的更细粒度偏好，从而将推理质量转化为丰富的相对奖励信号。为了提高奖励估计效率，我们并非穷举比较每一对，而是将每条新轨迹与一个小型、动态更新的已有轨迹池（作为锚点）进行比较，以高效建立相对排名。然后，我们在不完全比较图上拟合 Bradley-Terry 模型，从而在不进行二次级别两两比较的情况下实现可扩展的强化学习集成。实验结果表明，在竞赛数学和编程基准测试中，Reasoning Arena 平均比 RLVR 基线高出 7.6%。通过将原本被浪费的零优势样本转化为有用的梯度更新，我们的方法将训练速度提升了 27% 至 41%，节省了将近 50% 的生成计算量，并显著提高了整体推理性能。

查看arXiv页面 (https://arxiv.org/abs/2606.09380) 查看PDF (https://arxiv.org/pdf/2606.09380) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.09380)

在您的代理中获取此论文：

hf papers read 2606\.09380

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.09380 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.09380 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.09380 以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。