ForeTime-VLA:基于世界动作模型的因果未来令牌蒸馏在传送带操作中的应用
摘要
ForeTime-VLA引入了一种从世界动作模型中提取因果未来令牌的蒸馏方法,以提高动态传送带操作的性能,与现有VLA策略相比,实现了更高的抓取成功率。
arXiv:2608.20735v1 公告类型:新
摘要:操作移动物体需要策略来预测接触事件,然而视觉-语言-动作(VLA)策略通常仅从当前观察中进行微调。世界动作模型(WAMs)学习预测动力学,但在部署时运行视频规模的教师或显式想象未来帧成本高昂。我们引入ForeTime-VLA,这是一个密集的pi0.5策略,从冻结的Fast-WAM派生教师中提取未来感知、动作等效表示,同时在推理时保持因果性。离线时,当前和未来的视频潜在向量被压缩为一个白化的64维目标。在线时,一个八帧历史编码器预测这个目标以及操作阶段和归一化到过渡的时间。四个未来令牌和一个阶段令牌条件化VLM前缀,而预测的未来和过渡范围条件化动作专家。训练保留了原始的流匹配动作目标,并添加了余弦、关系几何、阶段、到过渡的时间和动作等效目标。在一个去重的传送带数据集上,我们在每个分割的768个匹配窗口上比较40k步检查点。测试MAE从0.134119降低到0.130593(2.63%;配对自举95% CI:0.82-4.48%改进),测试L2降低3.02%,延迟成本为2.46-2.93%。在定量的机器人评估中,ForeTime-VLA在静止和慢速移动抓取中分别实现了81.1%和58.9%的成功率,分别超过次佳参考12.2和22.2个百分点。在三种传送带速度下,它完成了44/90次抓取,而pi0.5为23/90,包括在快速速度下为11/30对2/30。离线方向增益与减少的机器人接触姿态失败之间的一致性支持因果未来令牌蒸馏作为在不部署世界模型教师的情况下改进动态操作的有效方法。
查看缓存全文
缓存时间: 2026/08/24 04:21
# 基于世界动作模型的因果未来Token蒸馏在传送带操作中的应用
来源:https://arxiv.org/html/2608.20735
思源马\*,1,易天张\*,2,博石张\*,1,清连吴3,家齐翟4,东伟†,4,小金黄†,1
隶属:1清华大学,北京,中国 2上海人工智能实验室,上海,中国 3哈尔滨工业大学,哈尔滨,中国 4杭州云深处科技有限公司(深度机器人),杭州,中国 \*同等贡献。†通讯作者。
###### 摘要
操作移动物体需要一个能够预测接触事件的策略,然而视觉-语言-动作(VLA)策略通常仅从当前观察进行微调。世界动作模型(WAMs)学习预测性动态,但运行视频尺度的教师模型或在部署时明确想象未来帧成本高昂。我们引入了ForeTime-VLA,这是一个密集的π0.5策略,它从冻结的Fast-WAM衍生的教师模型中蒸馏出一个未来感知的、动作等效的表示,同时在推理时保持因果性。离线状态下,当前和未来的视频潜在变量被压缩为一个白化的64维目标。在线状态下,一个八帧历史编码器预测这个目标以及操作阶段和归一化的过渡时间。四个未来Token和一个阶段Token用于调节VLM前缀,而预测的未来和过渡时间范围调节动作专家。训练保留了原始的流匹配动作目标,并增加了余弦、关系几何、阶段、过渡时间和动作等效性目标。在一个去重的传送带数据集上,我们在每个分割的768个匹配窗口上比较了40k步的检查点。测试MAE从0.134119下降到0.130593(降低2.63%;配对引导95%置信区间:改善0.82–4.48%),测试L2下降了3.02%,而延迟成本增加了2.46–2.93%。在定量的真实机器人评估中,ForeTime-VLA在静态和慢速抓取成功率上分别达到了81.1%和58.9%,分别超出了次优参考方法12.2和22.2个百分点。在三种传送带速度下,它完成了44/90次抓取,而π0.5为23/90次,包括在快速度下的11/30次对比2/30次。离线方向增益与真实机器人接触位姿失败减少之间的一致性,支持因果未来Token蒸馏是改进动态操作的有效方法,而无需部署世界模型教师。
## I 引言
视觉-语言-动作(VLA)模型将大型视觉-语言骨干网络中的语义先验迁移到机器人控制中。RT-2[37]、OpenVLA[18]、Octo[22]以及π0/π0.5系列[3, 26]表明,一个通用的策略可以适应跨任务、跨场景和跨本体的任务。富有表现力的动作解码器——包括扩散和流匹配——进一步支持多模态、高维的动作块。
动态传送带抓取和放置暴露了一个互补的弱点:正确的运动不仅取决于当前可见的内容,还取决于物体何时进入可达集、夹爪何时应该闭合以及末端执行器在接触时应如何定向。仅通过重构演示动作来训练的策略可能间接学习这些规律性,但没有获得显式的未来结构监督。
世界模型通过视频预测提供这种监督。文本引导的视频策略、生成式视频-语言-动作模型以及最近的世界动作模型(WAMs)使用预测的未来观察来支持控制。然而,显式的“想象-再行动”流程将视频生成添加到控制循环中。相反,Fast-WAM报告称,视频建模作为训练信号特别有用,并且可以在测试时推理中移除。这就提出了一个实际问题:*预训练的VLA能否在不运行WAM的情况下获得该预测结构的紧凑版本?*
我们通过ForeTime-VLA来回答这个问题,其教师-学生流程总结于图1。在离线预处理阶段,Fast-WAM/Wan视频潜在变量流程会看到当前观察和八个未来偏移帧。一个非折叠的适配器将这些特征压缩为一个动作等效的教师代码。在策略训练期间,一个小型因果编码器必须从前面的八个观察中预测该代码。预测的代码同时调节了π0.5的慢速VLM路径和快速动作专家路径,而原始的流匹配构造继续使用录制的动作块。真实动作保持不变,避免了伪标签替换的目标对齐混淆。
我们的贡献包括:
- • 一种可部署的教师-学生公式,将未来条件WAM结构转移到一个八帧因果历史编码器中,推理时无需未来帧或教师前向传播;
- • 使用未来、阶段和过渡时间变量对π0.5进行双路径调节,由逐点、关系、时间和动作等效性目标进行监督;以及
- • 一项配对的离线评估和两项定量的真实机器人研究,涵盖静止、移动和速度压力条件,并进行了结果层面的分析,将未来感知监督与更少的晚期和接触位姿失败联系起来。
参见图注 图1:ForeTime-VLA概览。*左:*离线教师使用冻结的视频VAE编码当前观察和采样的未来帧,然后将它们映射为紧凑的动作等效目标。*中:*可部署的学生使用八个因果观察来预测未来、阶段和过渡时间变量。这些预测同时调节了慢速π0.5 VLM前缀和快速动作专家后缀,同时保留了原始的带噪动作和目标流构造。*右:*训练结合了动作流、未来对齐、关系几何、过渡、阶段和辅助动作重构损失。测试时不存在未来帧和WAM。
## II 相关工作
### II-A 视觉-语言-动作策略
VLA策略将视觉-语言表示与机器人动作连接起来。RT-1展示了从图像和语言输入进行的大规模Transformer控制,而Gato和PaLM-E将机器人控制置于更广泛的通用和具身多模态模型中。随后,Open X-Embodiment工作汇集了跨本体数据和RT-X策略,以研究跨机器人平台的迁移。RT-2将动作表示为语言标记;OpenVLA提供了一个开放的7B策略和高效的适应方案;Octo则研究了灵活的观察和动作接口。π0引入了一个由VLM调节的动作专家,使用流匹配进行训练。π0.5通过异构协同训练和高级语义预测扩展了这一系列。GR00T N1将视觉-语言骨干与扩散Transformer动作头耦合,并提供了一个开放的方案,用于将策略适应新的本体。FAST探索了用于高频控制的高效动作标记化。互补的操作系统研究了多模态提示、多任务3D动作预测和长期语言条件评估。我们的工作保留了π0.5的连续流匹配动作接口,并在全参数微调期间添加了预测性时间监督。
### II-B 控制的预测表示
潜在世界模型学习紧凑的预测状态,并通过想象推演支持行为。在机器人领域,视觉预见方法为基于模型的规划预测未来观察,而UniSim和Genie则在更广泛的视觉尺度上探索了生成式交互环境。视频条件策略可以使用生成的未来作为计划或预测特征。Fast-WAM将视频协同训练与未来合成分离,并认为预测性表示学习可以在没有测试时想象的情况下保留大部分WAM优势。DECOWAM将这一方向扩展到腿式移动操作,通过解耦相机自身运动、底盘动作和手臂动作,同时从特权观察中蒸馏出一个动作等效的未来瓶颈。ForeTime-VLA是互补的:它不是部署视频尺度的WAM,而是将一个64维的未来感知代码蒸馏到预训练的VLA中,并从紧凑的因果历史中预测该代码。
### II-C 知识蒸馏
经典知识蒸馏将昂贵的教师行为转移到可部署的学生。中间特征和关系蒸馏保留的不止是输出逻辑;例如,关系知识蒸馏匹配表示空间中样本之间的结构。由于中间目标可能变为低秩或折叠,方差和协方差正则化提供了有用的互补约束。我们的未来余弦损失传递实例级方向,而Gram矩阵损失传递批次几何。阶段、过渡时间和动作重构约束该代码保持对操作有用,而不仅仅是匹配任意的潜在基。
## III 方法
### III-A 问题表述
在时间t,策略接收到当前RGB观察o_t,语言指令ℓ,机器人状态s_t,以及八步因果历史H_t。它预测一个动作块a_{t:t+H-1} ∈ ℝ^{H×D},其中H=20且D=16。基础π0.5动作专家使用条件流匹配。对于动作a,噪声ε~N(0, I)和τ∈(0,1),
x_τ = (1-τ)a + τε, u_τ = ε - a, (1)
基础损失为
L_flow = E[‖v_θ(x_τ, τ, o_t, ℓ) - u_τ‖²_2]. (2)
这种带噪动作/目标流构造显示于图1(C),并在添加时间条件时予以保留。我们的目标是添加对未来敏感的结构,而不改变a,也不在推理时使用未来观察。
### III-B 离线动作等效未来教师
图1左侧描绘了特权教师分支。对于每个有效的训练窗口,我们在偏移{2,4,7,9,12,14,17,19}处采样当前帧和八个未来帧。一个冻结的Wan2.2视频VAE——Fast-WAM使用的视觉潜在变量流程——编码该序列。时空均值和标准差产生96维的当前特征和96维的未来特征。
最初导出的商码表现出不足的变化。因此,我们在保持视频特征冻结的同时,训练了一个非折叠的动作等效适配器。其教师编码器消耗当前特征、未来特征和26维状态;一个因果辅助编码器仅消耗当前特征和状态。两者都输出64维代码。一个共享的动作解码器重构归一化的20×16动作块,一个未来解码器重构未来减去当前特征。训练结合了教师和因果动作MSE、未来平滑-L1、教师-因果余弦、逐维方差、非对角协方差和成对动作几何损失,权重分别为1.0、0.5、0.25、0.10、0.20、0.01和0.05。选定的第50个周期的教师代码按维度进行白化并缓存。因此,特权未来被用来定义z_t^T,但从不进入部署的策略。
图2总结了自上而下的适配器。冻结的潜在变量流程从当前观察中提取c_t,从采样的未来帧中提取f_t,而26维状态s_t则提供给适配器。特权教师编码器使用所有三个输入,ẑ_t^T = g_T(c_t, f_t, s_t),而因果辅助编码器仅使用(c_t, s_t)并产生ẑ_t^C = g_C(c_t, s_t)。两个64维代码都通过一个共享的动作解码器发送,而教师代码额外发送到一个未来解码器,重构f_t - c_t。教师-因果对齐将未来信息转移到因果分支;方差和协方差正则化保持每个潜在维度活跃;成对动作几何保留样本间的相对距离。训练后,仅选定的64维教师输出z_t^T按维度进行白化,并作为因果学生监督的缓存。
### III-C 因果时间学生
图1(A)展示了因果输入及其三个预测头相似文章
像世界模型一样思考,像VLA一样行动:将世界模型表示蒸馏到紧凑的机器人策略中
本文介绍了THAW-VLA,一种将世界模型表示蒸馏到视觉-语言-动作模型中的方法,用于机器人学,增强了在模拟和真实硬件上的鲁棒性和性能,而不会增加推理开销。
从世界到手腕:面向精细机器人操作的任务条件未来手腕建模
介绍了W2-VLA,一种用于精细机器人操作的视觉-语言-动作模型,该模型对任务条件下的未来手腕观测进行建模,在基准测试和真实世界任务中实现了改进的操作性能。
IntentVLA: 针对混叠机器人操作的短期意图建模
IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。
Harness VLA:通过记忆引导的代理将冻结的VLA转化为可靠的操作原语
HarnessVLA是一个记忆增强框架,利用冻结的视觉-语言-动作模型作为机器人可靠操作的原语,在不进行微调的情况下实现了显著的性能提升。
N_0-VTLA:利用潜在触觉标记扩展视觉-触觉-语言-动作模型
介绍了N_0-VTLA,一种面向高接触操作的视觉-触觉-语言-动作基础模型,具备大规模触觉预训练和基于优势的离线策略改进功能,在真实机器人和仿真基准测试中表现优异。