vision-language-action

标签

Cards List
#vision-language-action

@starlitmatcha:关于 VLA 的新博客文章!VLAs 是机器人领域最热门的话题之一,实至名归。这篇博客文章梳理了……

X AI KOLs Timeline ↗ · 2026-11-01 缓存

一篇新的博客文章追溯了 Vision-Language-Action(VLA)模型从 RT-1 到 MolmoAct2 的演进历程,解释了为什么 VLA 是实现可泛化机器人学习的重要方向,并介绍了关键的架构权衡。

0 人收藏 0 人点赞
#vision-language-action

让机器人操控智能体走向大众:一个基于开源模型的统一框架

Hugging Face Daily Papers ↗ · 2026-11-01 缓存

论文提出了 uni-robot-agent,一个统一框架,使开源权重的机器人操控智能体在零样本操作基准上超越 GPT-6 Astra-RoboProbe 等专有模型,并总结出未来机器人操控智能体训练应协同培养的四项核心能力。

0 人收藏 0 人点赞
#vision-language-action

HiFOR:面向视觉-语言-动作模型的层次化前瞻与动作引导世界锚定

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

HiFOR 提出了一种面向视觉-语言-动作模型的层次化前瞻框架,结合动作引导的世界检索,联合预测短期状态、语义里程碑与目标状态,从而更好地引导机器人操作动作的生成。

0 人收藏 0 人点赞
#vision-language-action

OpenFlyV2:用于空中感知与导航的机载视觉-语言-动作模型

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

OpenFlyV2 是一个统一的机载视觉-语言-动作模型,在资源受限的硬件(NVIDIA Jetson Orin NX)上以 10Hz 实现实时空中导航与推理,并能从仿真零样本迁移到真实四旋翼飞行,达到 48% 的导航成功率。

0 人收藏 0 人点赞
#vision-language-action

Gemini Robotics Embodied Reasoning 2 现已在 Google Cloud 上推出(阅读时长 7 分钟)

TLDR AI ↗ · 2026-10-28 缓存

Google 将面向机器人的专用具身推理模型 Gemini Robotics Embodied Reasoning 2(ER 2)引入 Google Cloud 的 Gemini 平台,面向企业部署开放公开预览,支持时空推理、长程规划和多机器人协作。

0 人收藏 0 人点赞
#vision-language-action

用于事件驱动视觉-语言-动作推理的基于2的幂的泄漏积分发放神经元

arXiv cs.AI ↗ · 2026-10-27 缓存

该论文提出了二次幂泄漏积分发放(PoT-LIF)神经元,通过发出带符号、幅值为二次幂的脉冲,在无需重构预训练策略的情况下,使视觉-语言-动作模型能够进行事件驱动的脉冲计算。将其集成到 π0.5 VLA 的投影层后,该模型在 LIBERO 基准测试中的表现达到或超过了采用连续激活的基线,同时将建模估算的算术运算能耗降低了约 86.95%。

0 人收藏 0 人点赞
#vision-language-action

TAD:仅从教师轨迹中蒸馏视觉-语言-动作策略

arXiv cs.AI ↗ · 2026-10-27 缓存

TAD 提出了仅基于轨迹的对抗蒸馏方法,仅使用一组固定的教师轨迹,无需教师动作评分或任务奖励,通过判别器提供同策略奖励来改进视觉-语言-动作策略,大幅提升了 OpenVLA-OFT 的成功率,但效果仍逊于白盒同策略蒸馏。

0 人收藏 0 人点赞
#vision-language-action

PDRVLA:具有物理动力学表征的视觉-语言-动作模型

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

PDRVLA 是一篇机器人操作研究论文,提出在视觉-语言-动作(VLA)模型中加入轻量级物理动力学模块,通过世界模型监督预测未来视觉特征,从而在不引入在线视频生成延迟的情况下提升机器人动作生成性能,并在 LIBERO、RoboTwin 2.0 等仿真基准上取得领先成功率。

0 人收藏 0 人点赞
#vision-language-action

ThinkWorld:世界想象强化动态链推理

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

ThinkWorld 是一个视觉-语言-动作(VLA)学习框架,通过动力学链(CoD)运动词元表示动作,并利用世界想象进行强化学习,从而从无标注人类视频中获取监督,提升机器人操作在未见任务和环境中的泛化能力。

0 人收藏 0 人点赞
#vision-language-action

Vision-Language-Action 还是 World-Action?只需动作模型

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

论文提出 Just Action Model (JAM),将视觉-语言-动作模型与世界-动作模型解耦为骨干初始化、未来观测目标与推理机制三个可分离的选择,并用仅在训练期使用的 foresight loss 在 LIBERO、RoboTwin 等基准上超越 FastWAM/ImageWAM,同时减少 73% 的训练 FLOPs。

0 人收藏 0 人点赞
#vision-language-action

SO-101 Bench:易获取的空间操作基准

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

SO-101 Bench 推出一个基于 Isaac Lab 数字孪生的低成本机器人臂语言条件空间操作仿真基准,结果显示混合 LLM 智能体(83.2%)显著优于学习型 VLA 策略(约61%),且仿真与真实硬件上的策略排名完全一致。

0 人收藏 0 人点赞
#vision-language-action

HuGe:利用第一人称经验扩展人形通用视觉-语言-动作模型

Hugging Face Daily Papers ↗ · 2026-10-25 缓存

HuGe 提出了一族人形通用视觉-语言-动作(VLA)模型,利用超过2000小时的第一人称人类与机器人数据进行预训练,并通过伪本体感知与视觉适配实现全身控制,在 HumanoidArena 仿真基准上达到 SOTA,同时在 Unitree G1 实体机器人上验证了其有效性。

0 人收藏 0 人点赞
#vision-language-action

RynnVLA-Latent:利用三维锚定的潜在动作扩展机器人操作基础模型的规模

Hugging Face Daily Papers ↗ · 2026-10-25 缓存

RynnVLA-Latent 提出利用 3.01 万小时的异构视频学习以三维空间为基础的潜在动作,预训练具有 40 亿参数的视觉-语言-动作策略,在 LIBERO(成功率 98.8%)、RoboTwin 2.0 及真实机器人操作任务上取得领先的成功率,无需针对基准进行专门调优。

0 人收藏 0 人点赞
#vision-language-action

感觉运动对齐:具身策略成功的柏拉图式代理指标

Hugging Face Daily Papers ↗ · 2026-10-23 缓存

本文将柏拉图表征假说拓展至机器人领域,提出感觉运动对齐(S²)作为一种离线代理指标,用于衡量模型的感觉表征与末端执行器轨迹之间的重叠程度,并证明其在视觉-语言-动作模型(VLA)、世界动作模型(WAM)及真实机器人策略中均与下游任务成功率相关。

0 人收藏 0 人点赞
#vision-language-action

@svlevine:事实证明,只要以优势函数为条件进行监督学习提取策略,就能在RL中取得最先进……

X AI KOLs Following ↗ · 2026-10-21 缓存

Sam Levine 指出,新研究表明,通过以优势函数为条件的监督学习来提取策略,可以达到最先进的强化学习效果。Paul Zhou 介绍了 Advantage Guidance,一种通过对比引导采样实现的稳定的优势条件监督训练方法,改进了他此前在 Physical Intelligence 的 π*0.6 VLA 工作。

0 人收藏 0 人点赞
#vision-language-action

KPHarness:面向长时程游戏执行框架的知识与主动探测协同演化

arXiv cs.AI ↗ · 2026-10-21 缓存

KPHarness 提出了一种框架,通过协同演化恢复知识与主动探测策略,为冻结的视觉-语言-动作模型调整外部执行框架,以应对长时程 Minecraft 任务,从而在不进一步更新底层策略模型的情况下,提升任务覆盖率以及对未见任务的迁移能力。

0 人收藏 0 人点赞
#vision-language-action

从 VLM 规划器到机器人智能体:面向历史依赖操作的自我进化 Harness

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

论文提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 维护任务上下文并利用执行反馈自我进化规划,配合固定的 VLA 执行器来改进长时程机器人操作任务,在 RoboMME 上取得 51.38% 的成功率。

0 人收藏 0 人点赞
#vision-language-action

RoboCasa-Shift:长时程家庭操作中视觉-语言-动作策略的阶段感知鲁棒性评估

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

RoboCasa-Shift 提出一个基于 RoboCasa365 的阶段感知鲁棒性基准,通过配对执行轨迹与受控扰动评估视觉-语言-动作(VLA)策略在长程家务操作任务中的表现,发现失败模式随扰动因子和任务而异,并非均匀退化,主张鲁棒性应作为执行的多维属性而非单一端到端指标衡量。

0 人收藏 0 人点赞
#vision-language-action

并非所有特征生而平等:视觉-语言-动作模型的机制性研究

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

本文对视觉-语言-动作(VLA)模型进行了机制可解释性研究,揭示了运动程序绑定于绝对坐标并忽略场景变化,从而解释了扰动脆弱性问题。文章推出了 Action Atlas,一个交互式平台,涵盖六个 VLA 模型上训练的 520 多个稀疏自编码器和 79 个已识别概念。

0 人收藏 0 人点赞
#vision-language-action

Vision-Language-Delta-Action:学习紧凑的Delta作为机器人操作的可执行转变接口

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

VLDA提出用紧凑的Delta变量将机器人控制重构为可执行的转变建模,作为视觉语言理解与动作生成之间的接口,相比直接的观测-动作映射和完整未来状态预测,提升了长程一致性、鲁棒性和泛化能力。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈