论文页面 - 面向通用推理的迁移性：多领域RLVR的自动化课程设计

来源：https://huggingface.co/papers/2606.25178

摘要

迁移感知课程（Transfer-Aware Curriculum, TAC）通过优先选择能对其他领域产生广泛收益的领域，利用梯度几何对齐来估计跨领域迁移性，从而改进多领域强化学习。

强化学习（https://huggingface.co/papers?q=Reinforcement%20learning）与可验证奖励（https://huggingface.co/papers?q=verifiable%20rewards）(RLVR) 已从单领域训练扩展到覆盖数学、编程和科学的多领域推理（https://huggingface.co/papers?q=multi-domain%20reasoning）套件。然而，训练课程（每个领域被采样的频率）通常是固定或手工调参的，尽管推理技能在不同领域间的迁移并不均衡。现有的基于可学习性的课程会自适应于当前策略正在改进的领域，但却忽略了所选领域上的梯度步骤是否对剩余领域有益。本文提出迁移感知课程（TAC），一种赌博机风格（bandit-style）的在线课程（https://huggingface.co/papers?q=bandit-style%20online%20curriculum），优先选择那些其更新能广泛惠及整个训练套件的领域。TAC 重用了 RL 训练中已产生的信号：每个领域的优势值反映了局部的可学习性，而投影梯度（取自正在计算的 GRPO（https://huggingface.co/papers?q=GRPO） 步骤）通过梯度几何对齐（https://huggingface.co/papers?q=gradient-geometry%20alignment）估计跨领域迁移性（https://huggingface.co/papers?q=transferability），且开销极低（墙上时间开销 <1%）。在包含六个领域的推理套件上，TAC 在 Qwen3-1.7B 和 Llama3.2-3B 上都取得了最佳的宏平均准确率（https://huggingface.co/papers?q=macro-averaged%20accuracy），优于比例随机采样、手工设计的调度方案以及仅基于可学习性的赌博机方法，并且比后者提升高达 2.8 个百分点（相对提升 10%）。消融实验表明，移除迁移性（https://huggingface.co/papers?q=transferability）项后性能显著下降，而在训练混合不平衡（仅基于可学习性的课程会过度偏向主导领域）的情况下，TAC 仍然保持鲁棒。我们的研究确立了跨领域迁移性作为多领域 RLVR 课程设计的关键信号。

查看 arXiv 页面（https://arxiv.org/abs/2606.25178）查看 PDF（https://arxiv.org/pdf/2606.25178）GitHub2（https://github.com/YangYongJin/transfer-aware-curriculum）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.25178）

在您的 agent 中获取这篇论文：

hf papers read 2606\.25178

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.25178 即可从本页链接。

引用该论文的数据集0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.25178 即可从本页链接。

引用该论文的 Spaces0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2606.25178 即可从本页链接。

包含该论文的收藏夹0

没有收藏夹包含此论文

将论文添加到收藏夹（https://huggingface.co/new-collection）即可从本页链接。