论文页面 - Manifold Bandits: 基于大型语言模型潜在几何的贝叶斯课程学习

来源：https://huggingface.co/papers/2606.19750

很高兴分享 Manifold Bandits。

在使用强化学习训练大型语言模型时，训练效率不仅取决于策略优化算法的强度，还取决于模型在训练各阶段所看到的问题。许多自适应课程学习方法关注难度：避免那些已经过于简单或仍然不可能的问题，选择模型当前处于“最佳学习区”的问题。

但难度并不是唯一重要的因素。

问题类型同样重要。正如大型语言模型可能不共享我们对难度的概念，它们也可能不共享我们对类型的概念。

任务分解通常根据人类语义手动定义，或者通过将整个数据集/领域视为“一个任务”而完全忽略。在这两种情况下，细粒度的结构可能会丢失：训练数据是异质的、不平衡的，并且由问题类型组成，这些类型的学习动态可能通过策略更新相互影响。

鉴于此，我们引入贝叶斯流形课程 (BMC)：一种自适应课程学习方法，不仅迎合策略的能力，还迎合其感知，即：其潜在的任务组织。

BMC 从策略模型的潜在几何中构建潜在任务树，然后利用该几何来协调跨多样且相互交织的问题类型的训练。通过这样做，我们揭示了通常仅在难度或下游评估准确性评估课程时被隐藏的学习动态和权衡。

简而言之：我们不将课程学习仅仅视为寻找合适难度的问题，而是询问训练工作应如何在策略的潜在任务流形上分配。

项目页面 / 视觉导览：https://darrienmckenzie.com/manifold-bandits/

更详细的 X 线程即将推出：@darrienmckenzie (https://huggingface.co/darrienmckenzie)