标签
论文研究了大语言模型在可验证奖励强化学习（RLVR）下的优化几何特性，发现梯度能量会逐渐集中到不断收缩的有效子空间中，进而提出自适应秩优化器Ares，根据梯度谱能量分布动态调整更新秩，在多个模型规模和RLVR任务上取得优于主流优化器的表现。
本文系统分析了强化学习后训练如何重塑基于流匹配的 VLA 策略（如 π0.5 和 GR00T N1.5/N1.6），发现 RL 产生了集中在动作专家 Timestep Modules 中的低秩参数更新。作者表明，shift vector 的更新方向能强力预测任务成功率，并利用这一发现在无需额外训练的情况下改进了 RL 训练后的策略。