论文页面 - DataFlex-RL：一个针对RLVR数据策略的评估平台

来源：https://huggingface.co/papers/2609.06107

摘要

DataFlex-RL评估了强化学习数据策略，发现均匀采样在数学、逻辑和科学基准测试中，其表现与自适应轨迹选择、重加权和领域混合方法相当甚至更优。

可验证奖励的强化学习（RLVR）数据策略（https://huggingface.co/papers?q=RLVR）决定了哪些轨迹被使用、它们的权重分配有多强，以及哪些领域贡献到后续的训练批次中。我们引入了DataFlex-RL，这是一个在统一的GRPO（https://huggingface.co/papers?q=GRPO）流程下比较这些选择的评估平台。我们的主要实验使用Qwen2.5-7B-Base（https://huggingface.co/papers?q=Qwen2.5-7B-Base）模型和12个数学、逻辑与科学基准测试，在12个匹配的随机种子上评估了13种配置。均匀GRPO（https://huggingface.co/papers?q=GRPO）将领域平衡平均准确率（https://huggingface.co/papers?q=domain-balanced%20average%20accuracy）相比未训练检查点提升了7.76个百分点。在与均匀采样对比时，八种轨迹选择（https://huggingface.co/papers?q=rollout-selection）或重加权（https://huggingface.co/papers?q=reweighting）方法中，没有任何一种的配对95%置信区间排除零值；三种自适应混合（https://huggingface.co/papers?q=adaptive%20mixture）方法中，也没有任何一种在相同精度水平上优于固定的等权混合方法。在Llama-3.1-8B-Base（https://huggingface.co/papers?q=Llama-3.1-8B-Base）上进行的12个种子的校正扩展实验，将额外方法与原始对照组置于相同的分数尺度上，但在观测到的平均性能方面并未揭示出一个一致的优胜者。我们还通过重新评估九个Qwen2.5-7B-Instruct运行的得分来量化评估敏感性，使用的是一个以数学为主的六基准摘要（包含五个数学基准和GPQA-Diamond（https://huggingface.co/papers?q=GPQA-Diamond），但不包含逻辑基准），并将其与包含所有12个基准的领域平衡摘要进行比较。结果显示排名呈负相关，相关系数为-0.33，而保留全部12个基准的摘要之间则基本一致。在本文研究的受控设置下，改变数据策略会可测量地改变训练过程，但并未产生优于均匀训练的可重现改进。

查看 arXiv 页面 (https://arxiv.org/abs/2609.06107) 查看 PDF (https://arxiv.org/pdf/2609.06107) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.06107)

在您的智能体中获取此论文：

hf papers read 2609\.06107

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文 在模型的 README.md 中引用 arxiv.org/abs/2609.06107 以从本页面链接它。

引用此论文的数据集 0

没有数据集链接此论文 在数据集的 README.md 中引用 arxiv.org/abs/2609.06107 以从本页面链接它。

引用此论文的 Space 0

没有 Space 链接此论文 在 Space 的 README.md 中引用 arxiv.org/abs/2609.06107 以从本页面链接它。

包含此论文的收藏夹 0

没有收藏夹包含此论文 将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接它。