论文页面 - HiVLA：一种以视觉为中心的层次化具身操作框架

来源：https://huggingface.co/papers/2604.14125
作者：
，
，
，
，
，
，
，
，
，

摘要

HiVLA 提出了一种层次化的视觉-语言-动作框架，通过使用带有级联交叉注意力机制的扩散变换器动作专家，将语义规划与运动控制解耦，从而改进了机器人操作。

尽管端到端的视觉-语言-动作（VLA）模型为机器人操作提供了一种有前景的范式，但在狭窄的控制数据上微调这些模型往往会损害其源自基础视觉-语言模型（VLM）的深层推理能力。为了解决这一根本性的权衡问题，我们提出了 HiVLA，一种以视觉为中心的层次化框架，显式地将高层语义规划与底层运动控制解耦。在高层部分，VLM 规划器首先执行任务分解和视觉定位，生成结构化计划，包括子任务指令和精确的目标边界框。然后，为了将这一计划转化为物理动作，我们在底层部分引入了一个流匹配扩散变换器（DiT）动作专家，并配备了一种新颖的级联交叉注意力机制。该设计顺序融合了全局上下文、高分辨率以对象为中心的裁剪图像以及技能语义，使 DiT 能够专注于鲁棒的执行。我们的解耦架构保留了 VLM 的零样本推理能力，同时允许两个组件独立改进。在仿真和真实世界中的大量实验表明，HiVLA 显著优于最先进的端到端基线，特别是在长时域技能组合和杂乱场景中小物体的精细操作方面表现卓越。

查看 arXiv 页面（https://arxiv.org/abs/2604.14125）
查看 PDF（https://arxiv.org/pdf/2604.14125）
项目页面（https://tianshuoy.github.io/HiVLA-page/）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.14125）

在您的智能助手中获取此论文：

hf papers read 2604\.14125

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2604.14125，以在此页面上链接。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2604.14125，以在此页面上链接。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2604.14125，以在此页面上链接。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏（https://huggingface.co/new-collection）以在此页面上链接。