论文页面 - VLA 强化学习的低秩结构

来源：https://huggingface.co/papers/2609.34599

摘要

强化学习（RL）正日益被用于对视觉-语言-动作（VLA）模型进行后训练，然而 RL 如何重塑这些策略在很大程度上仍未被理解。我们发现，在广泛使用的基于 flow 的 VLA 模型上进行的 RL（包括 π₀.₅ 和 GR00T N1.5/N1.6，在 LIBERO、ManiSkill、MetaWorld 和 CALVIN 上）会产生秩显著更低的参数更新，且这些更新高度集中于动作专家（action expert）的 Timestep Modules 中——这是一个规模很小且此前被忽视的组件。通过系统的模块替换实验，我们进一步表明这些模块承载了 RL 所带来性能增益中不成比例的一大份。随后，我们刻画了这些 Timestep Modules 中编码了什么内容。第一，我们证明 RL 会将它们专门化以适应 rollout 过程中使用的离散去噪时间步（timesteps），而这种离散时间步训练正是低秩更新的根源。第二，我们发现在它们的输出中，shift 向量在 RL 下变化最为明显；通过 probing（探针分析），我们证明 shift 更新方向能强烈预测任务成功率（ROC-AUC 高达 99.6%）。第三，我们发现 shift 更新的几何结构反映了任务之间的关系——它们的两两相似度与跨任务迁移模式相关。在这些发现的基础上，我们证明沿 shift 更新方向进行引导（steering）可以在无需额外 RL 训练的情况下进一步提升 RL 训练出的策略性能。总体而言，我们通过研究学习到的信号如何在参数空间中被编码，对 RL 如何重塑 VLA 策略给出了系统性的理解，为更高效、更可解释的 VLA 后训练提供了洞见。

查看 arXiv 页面 (https://arxiv.org/abs/2609.34599)　查看 PDF (https://arxiv.org/pdf/2609.34599)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.34599)

在你的 agent 中获取这篇论文：

hf papers read 2609.34599

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联本文 在模型的 README.md 中引用 arxiv.org/abs/2609.34599，即可从本页链接过去。

引用本文的数据集 0

暂无数据集关联本文 在数据集的 README.md 中引用 arxiv.org/abs/2609.34599，即可从本页链接过去。

引用本文的 Spaces 0

暂无 Space 关联本文 在 Space 的 README.md 中引用 arxiv.org/abs/2609.34599，即可从本页链接过去。

收录本文的合集 0

暂无合集收录本文 将本文加入某个合集 (https://huggingface.co/new-collection)，即可从本页链接过去。