论文页面 - 带有标量伴随匹配的Q学习

来源：https://huggingface.co/papers/2610.10437

摘要

流策略（Flow Policies）能够捕捉丰富且多样的动作分布，利用离策略强化学习对其进行微调以超越演示数据的表现，这一方向日益受到关注。然而，针对学习到的价值函数来微调流策略并非易事，因为策略在多个流步骤上生成其动作。伴随匹配（Adjoint Matching）提供了一种有原则的方法来更新流模型本身，通过将价值信息从最终动作传播回每个流步骤，但它需要在每一步通过策略计算向量-Jacobian 乘积，这一开销随着流步骤数量和策略规模的增长而增大。我们观察到，预训练流策略的批量平均速度场 Jacobian 集中在其对角线上。受这一发现的启发，我们推导出一个闭式标量伴随（Scalar Adjoint），它按流时间缩放最终动作处的价值梯度，从而消除了每一步的向量-Jacobian 乘积。我们进一步发现，在标量伴随下，控制策略生成动作处的 critic 价值尤为重要。基于这些发现，我们提出了带有标量伴随匹配的 Q 学习（Scalar Adjoint Matching Q-learning，SQAM），它将标量伴随与针对这些动作的价值惩罚相结合。SQAM 的提升主要集中在四个最具挑战性的 OGBench 域上，其成功率在每个域中均超过最强基线 18 到 35 个百分点。为了测试 SQAM 是否能扩展到大型预训练策略，我们还在一台真实双臂机器人上微调了一个视觉-语言-动作（vision-language-action）策略。SQAM 在所有三个任务上均优于监督微调。

[查看 arXiv 页面 (https://arxiv.org/abs/2610.10437)] [查看 PDF (https://arxiv.org/pdf/2610.10437)] [项目主页 (https://yonghdong.github.io/blog/sqam/)] [GitHub (https://github.com/yonghdong/sqam)] [加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.10437)]

在你的 agent 中获取此论文：

hf papers read 2610.10437

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文 在模型 README.md 中引用 arxiv.org/abs/2610.10437 以从本页链接它。

引用此论文的数据集 0

没有数据集关联此论文 在数据集 README.md 中引用 arxiv.org/abs/2610.10437 以从本页链接它。

引用此论文的 Spaces 0

没有 Space 关联此论文 在 Space README.md 中引用 arxiv.org/abs/2610.10437 以从本页链接它。

包含此论文的收藏集 0

没有收藏集包含此论文 将此论文加入收藏集以从本页链接它。