论文页面 - StructRL：面向长时视觉-语言-动作任务的在线结构化强化学习

来源：https://huggingface.co/papers/2609.36352

摘要

视觉-语言-动作（VLA）模型在较短时程的操控任务中表现良好，但在需要从单一指令执行多个连续依赖操控的长时程任务中仍面临挑战。在线强化学习（RL）可以通过环境交互改进策略，但现有方法大多仅在整个任务成功完成后提供奖励。然而，这种终端监督信号稀疏，无法区分早期失败与已取得实质性部分进展的任务执行过程。我们提出StructRL，一个通过可验证的子任务完成情况构建结构化中间监督信号的在线强化学习框架。StructRL将每个任务分解为可验证的子任务，仅在前置子任务完成后才给予中间奖励，并根据完成进度调整奖励尺度。在RoboCasa365和LIBERO-Long数据集上使用GR00T-N1.5与pi0.5模型进行评估时，StructRL持续优于所测试的在线RL基线方法。这些结果表明，可验证的结构化中间奖励能够有效提升长时程VLA模型的后训练效果。代码已开源：https://github.com/amazon-science/StructRL

查看arXiv页面 (https://arxiv.org/abs/2609.36352) 查看PDF (https://arxiv.org/pdf/2609.36352) 项目主页 (https://amazon-science.github.io/StructRL) GitHub1 (https://github.com/amazon-science/StructRL) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36352)

在您的代理中获取此论文：

hf papers read 2609.36352

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.36352 以从本页链接。

引用此论文的数据集0

暂无数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2609.36352 以从本页链接。

引用此论文的Spaces0

暂无Space链接此论文

在Space README.md中引用 arxiv.org/abs/2609.36352 以从本页链接。

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页链接。