标签
一篇新的博客文章追溯了 Vision-Language-Action(VLA)模型从 RT-1 到 MolmoAct2 的演进历程,解释了为什么 VLA 是实现可泛化机器人学习的重要方向,并介绍了关键的架构权衡。
论文提出了 uni-robot-agent,一个统一框架,使开源权重的机器人操控智能体在零样本操作基准上超越 GPT-6 Astra-RoboProbe 等专有模型,并总结出未来机器人操控智能体训练应协同培养的四项核心能力。
HiFOR 提出了一种面向视觉-语言-动作模型的层次化前瞻框架,结合动作引导的世界检索,联合预测短期状态、语义里程碑与目标状态,从而更好地引导机器人操作动作的生成。
OpenFlyV2 是一个统一的机载视觉-语言-动作模型,在资源受限的硬件(NVIDIA Jetson Orin NX)上以 10Hz 实现实时空中导航与推理,并能从仿真零样本迁移到真实四旋翼飞行,达到 48% 的导航成功率。
Google 将面向机器人的专用具身推理模型 Gemini Robotics Embodied Reasoning 2(ER 2)引入 Google Cloud 的 Gemini 平台,面向企业部署开放公开预览,支持时空推理、长程规划和多机器人协作。
该论文提出了二次幂泄漏积分发放(PoT-LIF)神经元,通过发出带符号、幅值为二次幂的脉冲,在无需重构预训练策略的情况下,使视觉-语言-动作模型能够进行事件驱动的脉冲计算。将其集成到 π0.5 VLA 的投影层后,该模型在 LIBERO 基准测试中的表现达到或超过了采用连续激活的基线,同时将建模估算的算术运算能耗降低了约 86.95%。
TAD 提出了仅基于轨迹的对抗蒸馏方法,仅使用一组固定的教师轨迹,无需教师动作评分或任务奖励,通过判别器提供同策略奖励来改进视觉-语言-动作策略,大幅提升了 OpenVLA-OFT 的成功率,但效果仍逊于白盒同策略蒸馏。
PDRVLA 是一篇机器人操作研究论文,提出在视觉-语言-动作(VLA)模型中加入轻量级物理动力学模块,通过世界模型监督预测未来视觉特征,从而在不引入在线视频生成延迟的情况下提升机器人动作生成性能,并在 LIBERO、RoboTwin 2.0 等仿真基准上取得领先成功率。
ThinkWorld 是一个视觉-语言-动作(VLA)学习框架,通过动力学链(CoD)运动词元表示动作,并利用世界想象进行强化学习,从而从无标注人类视频中获取监督,提升机器人操作在未见任务和环境中的泛化能力。
论文提出 Just Action Model (JAM),将视觉-语言-动作模型与世界-动作模型解耦为骨干初始化、未来观测目标与推理机制三个可分离的选择,并用仅在训练期使用的 foresight loss 在 LIBERO、RoboTwin 等基准上超越 FastWAM/ImageWAM,同时减少 73% 的训练 FLOPs。
SO-101 Bench 推出一个基于 Isaac Lab 数字孪生的低成本机器人臂语言条件空间操作仿真基准,结果显示混合 LLM 智能体(83.2%)显著优于学习型 VLA 策略(约61%),且仿真与真实硬件上的策略排名完全一致。
HuGe 提出了一族人形通用视觉-语言-动作(VLA)模型,利用超过2000小时的第一人称人类与机器人数据进行预训练,并通过伪本体感知与视觉适配实现全身控制,在 HumanoidArena 仿真基准上达到 SOTA,同时在 Unitree G1 实体机器人上验证了其有效性。
RynnVLA-Latent 提出利用 3.01 万小时的异构视频学习以三维空间为基础的潜在动作,预训练具有 40 亿参数的视觉-语言-动作策略,在 LIBERO(成功率 98.8%)、RoboTwin 2.0 及真实机器人操作任务上取得领先的成功率,无需针对基准进行专门调优。
本文将柏拉图表征假说拓展至机器人领域,提出感觉运动对齐(S²)作为一种离线代理指标,用于衡量模型的感觉表征与末端执行器轨迹之间的重叠程度,并证明其在视觉-语言-动作模型(VLA)、世界动作模型(WAM)及真实机器人策略中均与下游任务成功率相关。
Sam Levine 指出,新研究表明,通过以优势函数为条件的监督学习来提取策略,可以达到最先进的强化学习效果。Paul Zhou 介绍了 Advantage Guidance,一种通过对比引导采样实现的稳定的优势条件监督训练方法,改进了他此前在 Physical Intelligence 的 π*0.6 VLA 工作。
KPHarness 提出了一种框架,通过协同演化恢复知识与主动探测策略,为冻结的视觉-语言-动作模型调整外部执行框架,以应对长时程 Minecraft 任务,从而在不进一步更新底层策略模型的情况下,提升任务覆盖率以及对未见任务的迁移能力。
论文提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 维护任务上下文并利用执行反馈自我进化规划,配合固定的 VLA 执行器来改进长时程机器人操作任务,在 RoboMME 上取得 51.38% 的成功率。
RoboCasa-Shift 提出一个基于 RoboCasa365 的阶段感知鲁棒性基准,通过配对执行轨迹与受控扰动评估视觉-语言-动作(VLA)策略在长程家务操作任务中的表现,发现失败模式随扰动因子和任务而异,并非均匀退化,主张鲁棒性应作为执行的多维属性而非单一端到端指标衡量。
本文对视觉-语言-动作(VLA)模型进行了机制可解释性研究,揭示了运动程序绑定于绝对坐标并忽略场景变化,从而解释了扰动脆弱性问题。文章推出了 Action Atlas,一个交互式平台,涵盖六个 VLA 模型上训练的 520 多个稀疏自编码器和 79 个已识别概念。
VLDA提出用紧凑的Delta变量将机器人控制重构为可执行的转变建模,作为视觉语言理解与动作生成之间的接口,相比直接的观测-动作映射和完整未来状态预测,提升了长程一致性、鲁棒性和泛化能力。