标签
本文介绍了路径耦合贝尔曼流（PCBF），这是一种连续时间的分布强化学习方法，它使用流匹配来建模回报分布，而无需启发式投影。它通过将当前回报流和后续回报流通过共享的基础噪声耦合在一起，解决了以往基于流的方法中存在的边界不匹配和高方差问题。
本文介绍了自适应 Q 分块（AQC），这是一种强化学习方法，能够动态选择动作分块大小，以平衡反应式控制与长期规划。该方法在 OGBench 和 Robomimic 上取得了最先进的结果，提升了大规模 VLA 模型在机器人任务中的性能。
价值梯度流（VGF）提出了一种可扩展的行为正则化强化学习方法，将其构建为通过离散梯度流求解的最优传输问题，在离线强化学习和大型语言模型强化学习基准测试中取得了最先进的成果。该方法消除了显式的策略参数化，同时通过控制传输预算实现了自适应的测试时缩放。