FastOPD:面向轻量级VLA部署的在线策略蒸馏

Hugging Face Daily Papers 论文

摘要

FastOPD 提出了一种在线策略蒸馏框架,能够将大型视觉-语言-动作(VLA)基础模型压缩为仅需少量推理步骤的轻量级学生模型,在延迟降低78.1%的情况下保留了 π₀.₅ 在 LIBERO 上84%的性能,并将从 MolmoAct2 蒸馏得到的紧凑学生模型部署在真实机器人上。

视觉-语言-动作(VLA)基础模型近年来快速发展,不断提升操作性能和泛化能力,但这种规模化带来了高昂的计算成本,使得真实场景的部署日益困难。现有方法通常通过设计更小的模型架构或减少基于流的策略中的迭代去噪步数来缓解这一问题。在本工作中,我们提出了 FastOPD,一个从基础模型到轻量级VLA的框架,通过高效的在线策略蒸馏实现大规模VLA的实际部署。具体而言,FastOPD 调整了一个流映射(flow map)以实现单状态下的教师监督,并将其与自一致性目标相结合,构建出能够学习教师动态的紧凑学生模型。此外,我们从理论上证明,最小化该目标可以使蒸馏出的学生模型恢复出与理想少步教师模型所诱导的分布相媲美的分布。我们在仿真和真实实验中,针对多种基础策略对 FastOPD 进行了评估。在 LIBERO 上,FastOPD 仅需两步推理即可保留 π_{0.5} 84%的性能,推理延迟降低78.1%,且在平均成功率上超越了现有的少步蒸馏基线方法。以 LingBot-VLA 作为教师模型,FastOPD 在 RoboTwin 2.0 上将单步成功率较基础学生模型提升了15.9个百分点。我们进一步展示了其在世界动作模型(World Action Model, WAM)上的适用性,并将从 MolmoAct2 蒸馏得到的紧凑学生模型部署在真实机器人上。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:11

论文页面 - FastOPD:面向轻量级 VLA 部署的在策略蒸馏

来源:https://huggingface.co/papers/2610.02832

摘要

视觉-语言-动作(Vision-Language-Action, VLA)基础模型为提升操作性能与泛化能力而快速扩展,但这种扩展带来了高昂的计算成本,使得真实世界的部署日益困难。现有方法通常通过设计更小的架构,或减少基于流(flow-based)策略中的迭代去噪步数来缓解这一问题。本工作中,我们提出了 FastOPD——一个从基础模型到轻量级 VLA 的框架,通过高效的在策略蒸馏(on-policy distillation)使大规模 VLA 得以实用化部署。具体而言,FastOPD 适配了一个流映射(flow map)以实现单状态教师(single-state teacher)监督,并将其与一个自洽目标(self-consistency objective)相结合,构建出一个学习教师动力学的紧凑学生模型。此外,我们从理论上证明,最小化该目标可以使蒸馏后的学生恢复出与理想少步数教师模型所诱导的分布相当的分布。我们在仿真和真实实验中,针对多种基础策略评估了 FastOPD。在 LIBERO 上,FastOPD 仅用两次推理步数就保留了 π_{0.5} 84% 的性能,将推理延迟降低 78.1%,同时在平均成功率上超过了现有的少步数蒸馏基线。以 LingBot-VLA 作为教师,FastOPD 在 RoboTwin2.0 上将单步成功率相比基础学生提升了 15.9 个百分点。我们进一步展示了其对世界动作模型(World Action Model, WAM)的适用性,并在真实机器人上部署了从 MolmoAct2 蒸馏而得的紧凑学生模型。

查看 arXiv 页面 (https://arxiv.org/abs/2610.02832) 查看 PDF (https://arxiv.org/pdf/2610.02832) 项目页面 (https://fastopd.github.io/) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.02832)

引用本文的模型 0

没有模型关联本文。

在模型的 README.md 中引用 arxiv.org/abs/2610.02832,即可从此页面链接该模型。

引用本文的数据集 0

没有数据集关联本文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.02832,即可从此页面链接该数据集。

引用本文的 Spaces 0

没有 Space 关联本文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.02832,即可从此页面链接该 Space。

收录本文的合集 0

没有合集收录本文。

将本文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接该合集。

相似文章

ShortOPD:通过短到长在策略蒸馏恢复剪枝后的大语言模型

arXiv cs.LG

ShortOPD提出了一种短到长的在策略蒸馏方案,通过将训练集中在有效前缀上,恢复用于自由形式生成的剪枝后大语言模型,相较于未恢复模型实现了高达9倍的改进,并以四分之一的训练时间达到了长视界蒸馏的效果。

KL的KL: 使用控制变量基线的在策略蒸馏

Hugging Face Daily Papers

提出了vOPD,通过引入强化学习中的控制变量基线,稳定了大语言模型的在策略蒸馏,实现了与昂贵全词表方法相当的性能,同时计算成本更低。

OPD-V:具有模态平衡的视觉在策略自蒸馏

Hugging Face Daily Papers

介绍了 OPD-V,一种用于多模态大语言模型的视觉在策略自蒸馏范式,利用正负教师将模态平衡作为特权信息,在降低训练成本的同时提高跨基准的推理性能。

LastOPD:抑制潜在在策略蒸馏中的崩溃

arXiv cs.LG

论文提出LastOPD方法,该方法通过仅在短交叉过渡期的最后一层应用潜在信号,防止潜在在策略蒸馏中的崩溃,进而在MATH-500等基准测试中提升性能。