论文页面 - 学会操纵，操纵以见：通过可训练向量揭示大语言模型中 RLVR 的几何结构

来源：https://huggingface.co/papers/2609.34344 作者：

,

,

,

,

,

,

,

,

,

,

,

,

摘要

强化学习（RL）已成为增强大语言模型推理能力的关键范式，然而参数更新的高维度使得其训练动态难以分析。我们研究了带有可验证奖励的强化学习（RLVR），并利用向量操纵（vector steering）来识别激活空间中与 RL 带来的增益相关的低维有效流形。我们发现了两个几何特性。（1）有效流形容量：重现 RL 增益所需的容量可以非常小，但并非无限可压缩；在极低容量下，操纵维度和依赖输入的表达能力成为关键约束，且这一要求随注入深度而变化。（2）控制流形分离：有效控制方向主要位于激活主子空间的低方差补空间中。在给定任务和基础模型内，学习到的几何结构在不同训练配置间基本保持一致；而在不同任务间，几何对齐与能力迁移相关联。我们在 5 个 LLM 和 6 个可验证奖励任务上的实验支持了这些发现。随后我们提出了 Alpha-Stabler，一个即插即用的框架，包含一个监测主子空间侵入以发出早期崩溃预警的 Predictor，以及一个在反向传播过程中移除激活梯度的主子空间分量、同时保留正交补分量的 Controller。Alpha-Stabler 能稳定训练 2,000 步，并持续提升 RL 增益，为稳健的后训练提供了实用见解。代码：https://github.com/caiyuchen-ustc/On_Policy_Vector_Training

查看 arXiv 页面 (https://arxiv.org/abs/2609.34344) 查看 PDF (https://arxiv.org/pdf/2609.34344) GitHub43 (https://github.com/caiyuchen-ustc/On_Policy_Vector_Training) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.34344)

引用本文的模型 0

无模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2609.34344 以从此页面链接。

引用本文的数据集 0

无数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2609.34344 以从此页面链接。

引用本文的 Spaces 0

无 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2609.34344 以从此页面链接。

包含本文的收藏集 0

无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。