PolicyTrim: 提升视觉-语言-动作模型的本征策略效率
摘要
PolicyTrim是一种基于强化学习的后训练框架,能将视觉-语言-动作模型的动作块利用率提升3倍,并将物理执行步骤减少51.4%,实现高达5.83倍的部署加速。
查看缓存全文
缓存时间: 2026/06/23 05:40
论文页面 - PolicyTrim:提升视觉-语言-动作模型的内在策略效率
来源:https://huggingface.co/papers/2606.22540
视觉-语言-动作(VLA)模型为机器人操作提供了统一的范式,然而其实际部署往往受限于执行效率。现有工作主要聚焦于以计算为中心的效率,旨在减少每步推理延迟,但这些模型的内在策略效率仍鲜有探索。策略效率从根本上受两个因素影响:预测动作块的有效可执行长度,以及完成一个任务所需的总物理步数。
我们观察到,当前的VLA策略存在规划不可靠与动作冗余的问题:在动作块的尾部预测质量严重下降,且倾向于生成不必要的多余物理步骤。为解决这一问题,我们提出PolicyTrim——一种基于强化学习的后训练框架,通过动态视界探索和冗余感知的步骤节省奖励,来延长可靠动作块长度并减少冗余物理步骤。
在三个基准测试和三种VLA模型上的大量实验表明,PolicyTrim将动作块利用率提升了3倍,并将物理执行步骤减少了51.4%。最终,我们的框架在不牺牲任务成功率的情况下,实现了高达5.83倍的端到端部署加速。
相似文章
APT:动作专家预训练提升视觉-语言-动作策略的指令泛化能力
研究人员提出APT,一种两阶段训练方法,先在视觉-动作对上预训练动作专家,再整合语言条件,显著提升视觉-语言-动作策略在分布外指令上的泛化能力。
@askalphaxiv: “实时视觉-语言-动作策略的强化学习” VLA 模型通常对实时机器人控制来说太慢...
本文介绍了一种方法,将视觉-语言-动作模型中的动作生成分离为慢层和快层,从而实现实时反应式机器人控制,并将成功率从42%提高到97%,仅需10分钟的在线数据。
何时切换:面向视觉-语言-动作模型的可靠动作块扩展
论文提出了 RACE(Reliable Action-Chunk Extension,可靠动作块扩展)框架,通过一个辅助的单步去噪过程预测子技能的切换时机,从而在视觉-语言-动作(VLA)模型中实现可靠的动作块长程执行。在真实机器人上,该方法将因停停走走的执行方式造成的空闲时间降低约 5 倍,同时相较微调基线取得了更高的成功率。
检索,而非重新训练:在测试时将视觉语言动作模型扩展到新任务
本文介绍了一种检索增强的视觉-语言-动作策略,通过使用预训练模型和索引演示,消除了每个任务的微调,实现了高效的跨本体泛化和测试时的任务适应。
TAD:仅从教师轨迹中蒸馏视觉-语言-动作策略
TAD 提出了仅基于轨迹的对抗蒸馏方法,仅使用一组固定的教师轨迹,无需教师动作评分或任务奖励,通过判别器提供同策略奖励来改进视觉-语言-动作策略,大幅提升了 OpenVLA-OFT 的成功率,但效果仍逊于白盒同策略蒸馏。