PolicyTrim: 提升视觉-语言-动作模型的本征策略效率

Hugging Face Daily Papers 论文

摘要

PolicyTrim是一种基于强化学习的后训练框架,能将视觉-语言-动作模型的动作块利用率提升3倍,并将物理执行步骤减少51.4%,实现高达5.83倍的部署加速。

视觉-语言-动作(VLA)模型为机器人操作提供了统一范式,然而其实际部署常常受限于执行效率。现有工作主要关注以计算为中心的效率优化,以减少每步推理延迟,但这些模型的本征策略效率仍鲜有探索。策略效率从根本上受两个因素影响:预测动作块的有效可执行长度,以及完成一项任务所需的总物理步骤数。这两个因素共同决定了执行过程中前向推理调用的总次数。我们观察到,当前的VLA策略存在规划不可靠和动作冗余的问题,在动作块尾部出现严重的预测退化,并倾向于生成不必要的冗余物理步骤。针对这一问题,我们提出了PolicyTrim,一种基于强化学习的后训练框架,旨在延长可靠的动作块长度并减少冗余物理步骤。在可靠块扩展方面,我们采用动态探索策略,明确奖励更长的可执行长度的成功完成,逐步将可信预测范围推向经验极限。在步骤效率方面,我们设计了一种冗余感知奖励,直接奖励以更少步骤成功完成任务,同时惩罚不可复现的捷径,有效消除冗余物理动作。在三个基准测试和三个VLA模型上的大量实验表明,PolicyTrim将动作块利用率提升了3倍,并将物理执行步骤减少了51.4%。最终,我们的框架在保证任务成功率不降低的前提下,实现了高达5.83倍的端到端部署加速。
查看原文
查看缓存全文

缓存时间: 2026/06/23 05:40

论文页面 - PolicyTrim:提升视觉-语言-动作模型的内在策略效率

来源:https://huggingface.co/papers/2606.22540

视觉-语言-动作(VLA)模型为机器人操作提供了统一的范式,然而其实际部署往往受限于执行效率。现有工作主要聚焦于以计算为中心的效率,旨在减少每步推理延迟,但这些模型的内在策略效率仍鲜有探索。策略效率从根本上受两个因素影响:预测动作块的有效可执行长度,以及完成一个任务所需的总物理步数。

我们观察到,当前的VLA策略存在规划不可靠与动作冗余的问题:在动作块的尾部预测质量严重下降,且倾向于生成不必要的多余物理步骤。为解决这一问题,我们提出PolicyTrim——一种基于强化学习的后训练框架,通过动态视界探索和冗余感知的步骤节省奖励,来延长可靠动作块长度并减少冗余物理步骤。

在三个基准测试和三种VLA模型上的大量实验表明,PolicyTrim将动作块利用率提升了3倍,并将物理执行步骤减少了51.4%。最终,我们的框架在不牺牲任务成功率的情况下,实现了高达5.83倍的端到端部署加速。

相似文章

何时切换:面向视觉-语言-动作模型的可靠动作块扩展

Hugging Face Daily Papers

论文提出了 RACE(Reliable Action-Chunk Extension,可靠动作块扩展)框架,通过一个辅助的单步去噪过程预测子技能的切换时机,从而在视觉-语言-动作(VLA)模型中实现可靠的动作块长程执行。在真实机器人上,该方法将因停停走走的执行方式造成的空闲时间降低约 5 倍,同时相较微调基线取得了更高的成功率。

TAD:仅从教师轨迹中蒸馏视觉-语言-动作策略

arXiv cs.AI

TAD 提出了仅基于轨迹的对抗蒸馏方法,仅使用一组固定的教师轨迹,无需教师动作评分或任务奖励,通过判别器提供同策略奖励来改进视觉-语言-动作策略,大幅提升了 OpenVLA-OFT 的成功率,但效果仍逊于白盒同策略蒸馏。