@svlevine: 扩散（或流）可生成出色策略，但用强化学习训练它们却出了名的困难：BPTT不稳定，RL…

X AI KOLs Following 论文
diffusion flow-matching reinforcement-learning policy-optimization jacobian-approximation

摘要

新论文展示了如何通过用单位矩阵近似流去噪过程的雅可比矩阵来优化用于强化学习的流匹配行动者，使训练变得可行。

扩散（或流）可生成出色策略，但用强化学习训练它们却出了名的困难：BPTT不稳定，扩散上的强化学习会炸掉时间范围。在我们的新论文中，我们展示了如何通过使用"一个奇怪的技巧"——用单位矩阵"近似"流去噪过程的雅可比矩阵——来优化流匹配行动者。
查看原文

相似文章

基于价值梯度流的强化学习

Hugging Face Daily Papers

价值梯度流（VGF）提出了一种可扩展的行为正则化强化学习方法，将其构建为通过离散梯度流求解的最优传输问题，在离线强化学习和大型语言模型强化学习基准测试中取得了最先进的成果。该方法消除了显式的策略参数化，同时通过控制传输预算实现了自适应的测试时缩放。

Drift Q-Learning

arXiv cs.LG

提出了DriftQL，它结合了基于漂移的行为正则化器与评论家驱动的策略改进，用于离线强化学习，在D4RL和OGBench上优于扩散和流方法，同时保持简单性和效率。