Agentic RAG-VLM: 基于功能感知的检索增强生成与自反思规划用于机器人抓取

# 具有自我反思规划的感知-感知检索增强生成用于机器人抓取
来源: https://arxiv.org/html/2606.31200
陈涛¹，刘立志¹†，王家旭¹，蒋子越¹，田瑞琪²，霍继光¹，甘中学¹¹陈涛，刘立志，王家旭，蒋子越，霍继光，甘中学来自复旦大学，上海，中国 (电子邮件: [email protected])。²田瑞琪来自肯恩大学。†通讯作者。

###### 摘要

在杂乱环境中实现可泛化的机器人抓取对于在非结构化人类空间部署机械臂至关重要，然而现有的基于VLM的方法依赖于视觉相似性进行物体匹配——忽略了物理可供性（如手柄可抓握性和材料脆弱性）——并且以开环方式运行，缺乏空间推理或故障恢复，当物体密集堆放或物理特性多样时，其有效性受到限制。我们提出了Agentic RAG-VLM，一个统一的框架，通过将检索增强生成（RAG）与视觉语言模型（VLMs）和智能体自我反思规划相结合，弥合了基于VLM的语义理解与物理基础的抓取执行之间的鸿沟。Agentic RAG-VLM引入了三个紧密耦合的组件：(1) 层次化可供性感知RAG (HAA-RAG)，它编码四维可供性描述符——类型、材料、脆弱性和可抓取区域——并通过功能可供性兼容性而非视觉外观来检索策略；(2) 场景图约束推理器，它从VLM感知构建空间关系图，并将邻近、遮挡和支撑约束转化为具体的抓取参数调整；(3) 智能体自我反思流水线，具有14种类型的失败分类和三级自适应重试，用于闭环抓取优化。在一个包含12个任务的基准测试（涵盖单次抓取、交互式和长程场景，每种配置360次试验）上评估，Agentic RAG-VLM实现了78.3%的总体成功率——比仅使用VLM的基线提高了53.3个百分点——表明可供性感知检索、场景图推理和智能体恢复对于稳健操作都是必不可少的。

## I 引言

在非结构化环境中进行机器人抓取需要整合视觉感知、语义理解和物理执行。一个通用的抓取流水线通常包括从传感器输入感知场景、规划抓取策略以及通过机械臂执行。尽管每个阶段都独立取得了显著进展——从基于学习的抓取检测[1, 2]到语言条件模仿[3]——但将它们整合成一个能够处理杂乱、多物体环境中多样化物体的连贯系统，在很大程度上仍未解决。对于诸如清理桌面等长程任务尤其困难，这些任务中的序列依赖和累积误差既需要精确规划，也需要自适应故障恢复。

最近的视觉语言模型（VLMs）为弥合感知和规划之间的鸿沟开辟了新方向。RT-2[4]通过将机器人动作与语言一起标记化，开创了端到端的VLM到动作；SayCan[5]通过学习可供性函数将高层规划与低层执行解耦；VoxPoser[6]和Code as Policies[7]分别生成3D值地图和可执行程序；ManipLLM[8]微调多模态LLM用于6自由度抓取预测。这些进展指向了通用的语言条件操作。然而，仍然存在三个差距：

**语义-操作鸿沟。** 基于VLM的系统依赖视觉相似性进行物体匹配，但视觉相似并不意味操作兼容性。一个陶瓷杯和一个玻璃花瓶可能在CLIP[9]嵌入空间中占据邻近区域——两者都是圆柱形、中空且大小相似——但杯子应由手柄用牢固的握力抓取，而花瓶则需要用减少的力谨慎地从侧面接近。这种视觉相似性和操作兼容性之间的不匹配[10]在很大程度上未得到解决。

**场景感知规划。** 大多数系统孤立地推理目标物体。在杂乱环境中，一个放置在易碎酒杯5厘米外的杯子需要谨慎的横向接近和减少的力，而同一个杯子放在空桌子上可以直接从上方抓取。场景图已被用于任务和运动规划[11]，但通常需要地面真值注释，并且不将空间推理转化为具体的抓取参数调整。SpatialVLM[12]赋予了VLMs空间理解能力，但并未将其与操作约束联系起来。

**故障恢复。** 经典的抓取规划器[1, 2, 13]以开环方式运行，生成抓取姿态而不从失败中学习。Inner Monologue[14]引入了基于VLM的反馈，但只提供非结构化的观察（“物体滑落”），而没有系统分类。Reflexion[15]表明，口头自我反思能改善序列决策，但将反思应用于物理操作需要将语言反馈转化为具体的、物理基础的纠正——“物体滑落”必须映射到“增加抓握力20%”，而不仅仅是重新表述后重试。

为了解决这些差距，我们提出了Agentic RAG-VLM（图1），一个统一框架，整合了可供性感知经验检索、场景图约束推理和智能体自我反思规划，以实现稳健的机器人抓取。贡献总结如下：

- • 我们提出了Agentic RAG-VLM，一个统一框架，它将可供性感知检索增强生成与场景图约束推理和智能体自我反思规划相结合，弥合了基于VLM的语义理解与物理基础的抓取执行之间的鸿沟。
- • 该框架引入了层次化可供性感知RAG (HAA-RAG)，一个三级检索流水线，通过功能可供性而非视觉相似性匹配抓取经验，以及一个场景图约束推理器，将空间关系转化为具体的抓取参数调整，以便在杂乱环境中安全操作。
- • 智能体自我反思流水线，采用结构化失败诊断，带有14种类型的分类和三级自适应重试，使系统能够从失败的尝试中学习，并通过物理基础的纠正逐步完善抓取执行。

参考图例图1: Agentic RAG-VLM概述。基于VLM的任务规划器处理多模态输入，并编排一个七阶段执行流水线：场景感知、通过HAA-RAG的可供性感知检索、场景图约束推理(Δg\\Delta\\mathbf{g})和抓取执行。在失败(×\\times)时，恢复循环通过14种类型的分类诊断失败，通过三个级别（L1: 参数调整→\\toL2: 方法切换→\\toL3: 完全重新规划）升级纠正，并将成功的抓取存储到情节记忆M\\mathcal{M}中用于跨任务迁移。

## II 相关工作

**用于操作的VLMs。** 最近的基于VLM的方法范围从端到端动作标记化(RT-2[4])到具有可供性基础的模块化规划(SayCan[5])、3D值地图(VoxPoser[6])、代码生成(Code as Policies[7])以及微调抓取预测(ManipLLM[8], RoboDexVLM[16], GPT-4V[17])。然而，这些方法仅依赖参数化知识，没有检索到的经验或结构化的故障恢复。

**机器人学中的RAG和可供性。** RAG[18]通过将生成建立在检索到的文档基础上，减少了幻觉，但其在机器人领域的应用仍处于初期。REFLECT[19]总结了失败经验，但没有将检索整合到规划中。与此同时，可供性推理[10]已通过像素级地图[20]和基于部件的分析[21]实现，但这些预测的是抓取*位置*，而非抓取*方式*——它们识别物体表面上的可抓取区域，但没有指定适合该物体物理可供性的完整抓取策略（力、开口宽度、接近方向、抓取类型）。我们的HAA-RAG通过显式编码四维可供性描述符（类型、材料、脆弱性、可抓取区域）并根据功能可供性兼容性（而非视觉相似性）检索完整的、物理基础的抓取策略，弥合了这一差距。

**故障恢复和场景推理。** 经典规划器[1, 2, 13]以开环方式运行。Inner Monologue[14]和Reflexion[15]引入了口头反馈，但缺乏用于操作的物理基础纠正。场景图已被用于任务规划[11]，但通常需要地面真值注释。SpatialVLM[12]为VLMs添加了空间推理，但没有将其与抓取约束联系起来。我们的流水线通过14种类型的失败分类映射到定量纠正，以及通过VLM构建的场景图推断操作约束（无需注释），解决了这两个差距。与这些方法相比，Agentic RAG-VLM独特地将所有五种能力——可供性感知检索、基于RAG的经验基础、场景图约束推理、结构化故障恢复和多步骤智能体规划——整合在一个统一的框架内。

## III 可供性感知检索与约束推理

本节详细说明系统如何通过两个互补阶段将场景观察转化为物理基础的抓取计划：可供性感知经验检索（第III-A节）和空间约束推理（第III-B节）。给定RGB-D观察II和自然语言指令qq，系统产生抓取动作g=(p,d,w,f,τ)\\mathbf{g}=(\\mathbf{p},\\mathbf{d},w,f,\\tau)——位置、接近方向、夹爪开口、抓握力和抓取类型(τ∈{τ\\in\\{power, pinch, side}\\})——通过三个模块化阶段优化：(1) 通过HAA-RAG的可供性感知检索，(2) 场景图约束推理，以及(3) 具有自我反思重试的智能体规划（第IV节）。

### III-A 层次化可供性感知RAG

标准RAG通过视觉相似性（例如CLIP[9]嵌入）进行检索，但碗必须沿其边缘抓取，而杯子使用其手柄——视觉相似性导致错误的策略。这正是在第I节中确定的“忽略物体特定物理可供性”问题：视觉上相似的物体（例如陶瓷杯和玻璃花瓶）由于其不同的可供性属性，可能需要根本不同的操作策略。HAA-RAG通过基于*可供性兼容性*而非视觉相似性来匹配经验，直接解决了这个问题（图2）。

该方法的基础是一个精心策划的知识库K={e1,...,eN}\\mathcal{K}=\\{e_{1},\\dots,e_{N}\\}，包含N=116N=116个操作经验，每个条目ei=(ci,ai,gi,yi,vi)e_{i}=(c_{i},\\mathbf{a}_{i},\\mathbf{g}_{i},y_{i},\\mathbf{v}_{i})存储：

- •cic_{i}: 物体类别（例如，“马克杯”、“碗”、“螺丝刀”）
- •ai=(aitype,aimat,aifrag,aireg)\\mathbf{a}_{i}=(a^{\\mathrm{type}}_{i},a^{\\mathrm{mat}}_{i},a^{\\mathrm{frag}}_{i},a^{\\mathrm{reg}}_{i}): 可供性描述符，包括主要类型（8个类别：可抓握_主体/手柄/边缘、可捏取、可包裹、易碎、工具手柄、可夹紧）、材料、脆弱性afrag∈[0,1]a^{\\mathrm{frag}}\\in[0,1]和可抓取区域
- •gi\\mathbf{g}_{i}: 导致该结果的抓取参数
- •yi∈{0,1}y_{i}\\in\\{0,1\\}: 二元成功标签
- •vi\\mathbf{v}_{i}: 视觉特征嵌入（CLIP ViT-L/14）

失败的经验（yi=0y_{i}=0）也保留下来，并带有对比惩罚（分数降低30%），以阻止重复失败的策略，同时作为反思模块（第IV-B节）的负面示例可用。

利用这个知识库，HAA-RAG实现了一个三级由粗到精的检索流水线。在第一级中，VLM从指令qq和RGB图像中识别出目标物体类别cqc_{q}，并通过类别匹配从K\\mathcal{K}中检索出前k1=30k_{1}=30个候选：精确匹配得分scat=1.0s_{\\mathrm{cat}}=1.0，同一超类模糊匹配（例如，“马克杯”→“杯子”）得分0.50.5，无关类别丢弃。

在第二级中，存活的候选根据可供性相似性重新评分，捕获查询物体与存储经验之间的功能兼容性：

saff(aq,ai)=0.5⋅1[aqtype=aitype]⏟可供性类型匹配+0.2⋅smat⏟材料+0.15⋅(1−|Δf|)⏟脆弱性+0.15⋅sreg⏟区域\\begin{split}s_{\\mathrm{aff}}(\\mathbf{a}_{q},\\mathbf{a}_{i})&=\\underbrace{0.5\\cdot\\mathbb{1}[a_{q}^{\\mathrm{type}}=a_{i}^{\\mathrm{type}}]}_{\\text{可供性类型匹配}}+\\underbrace{0.2\\cdot s_{\\mathrm{mat}}}_{\\text{材料}}\\\\ &\\quad+\\underbrace{0.15\\cdot(1-|\\Delta f|)}_{\\text{脆弱性}}+\\underbrace{0.15\\cdot s_{\\mathrm{reg}}}_{\\text{区域}}\\end{split}(1)其中smat=1[aqmat=aimat]s_{\\mathrm{mat}}=\\mathbb{1}[a_{q}^{\\mathrm{mat}}=a_{i}^{\\mathrm{mat}}]是材料兼容性（例如，都是陶瓷），Δf=aqfrag−aifrag\\Delta f=a_{q}^{\\mathrm{frag}}-a_{i}^{\\mathrm{frag}}捕捉脆弱性相似性，sreg=1[aqreg=aireg]s_{\\mathrm{reg}}=\\mathbb{1}[a_{q}^{\\mathrm{reg}}=a_{i}^{\\mathrm{reg}}]是可抓取区域重叠。可供性类型的主导权重（0.50.5）确保功能兼容性是主要选择标准。得分低于阈值τaff=0.3\\tau_{\\mathrm{aff}}=0.3的候选被丢弃。

最后，剩余的候选根据CLIP vi重新排序。