Embodied.cpp: 一种面向异构机器人上具身AI模型的可移植推理运行时

Hugging Face Daily Papers 论文

摘要

Embodied.cpp 是一个可移植的C++推理运行时,通过模块化执行层和优化推理,能够在异构边缘设备和机器人上高效部署视觉-语言-动作模型与世界-动作模型。

当前具身AI模型涵盖视觉-语言-动作(VLA)模型与世界-动作模型(WAM),但实际部署仍碎片化地依赖于模型特定的Python框架、后端假设以及机器人端的胶水代码,尤其在异构边缘设备上。现有推理运行时主要面向请求-响应服务设计,因而无法满足具身部署的运行时契约:闭环控制内的多速率执行、异构硬件上以延迟优先的batch-1推理,以及超越固定令牌I/O的可扩展具身接口。我们提出 Embodied.cpp,一个针对具身模型的可移植C++推理运行时。基于对代表性VLA模型与WAM的架构分析,Embodied.cpp 捕捉到一条共享执行路径,并将其组织为五个层次:输入适配器、序列构建器、骨干执行、头部插件和部署适配器。该运行时提供了模块化多速率执行、延迟优先的融合推理以及可扩展的算子和I/O支持,通过单一后端抽象实现跨异构设备、机器人和模拟器的部署。我们在两个VLA模型(HY-VLA 和 pi0.5)以及一个使用 LingBot-VA Transformer 块的初步WAM基准上评估了 Embodied.cpp。VLA部署分别实现了100.0%和91.0%的任务成功率,闭环执行成功。WAM基准将块内存从312.2 MiB降低到88.1 MiB。这些结果表明,Embodied.cpp 在保持高精度的同时,提升了跨多种具身模型架构的部署效率。
查看原文
查看缓存全文

缓存时间: 2026/07/06 06:36

论文页面 - Embodied.cpp:异构机器人上具身AI模型的可移植推理运行时

来源:https://huggingface.co/papers/2607.02501

摘要

Embodied.cpp 是一个可移植的 C++ 运行时,通过模块化执行层和优化推理,实现了视觉-语言-动作模型与世界-动作模型在异构边缘设备上的高效部署。

当前具身AI模型涵盖了视觉-语言-动作(VLA)模型和世界-动作模型(https://huggingface.co/papers?q=world-action%20models)(WAMs),但实际部署仍因模型特定的Python栈、后端假设以及机器人端的胶水代码而碎片化,尤其在异构边缘设备上。现有的推理运行时(https://huggingface.co/papers?q=inference%20runtime)主要面向请求-响应的服务场景,因此无法满足具身部署的运行时契约:闭环控制(https://huggingface.co/papers?q=closed-loop%20control)内的多速率执行(https://huggingface.co/papers?q=multi-rate%20execution)、异构硬件上的延迟优先批量1推理,以及超越固定令牌I/O的可扩展具身接口(https://huggingface.co/papers?q=embodied%20interfaces)。我们提出了 Embodied.cpp,一个面向具身模型的可移植 C++ 推理运行时(https://huggingface.co/papers?q=inference%20runtime)。基于对代表性 VLA 模型和 WAMs 的架构分析,Embodied.cpp 捕获了共享执行路径并将其组织为五个层:输入适配器、序列构建器、骨干执行、头部插件以及部署适配器。该运行时提供了模块化的多速率执行(https://huggingface.co/papers?q=multi-rate%20execution)、延迟优先的融合推理(https://huggingface.co/papers?q=fused%20inference),以及可扩展的算子与I/O支持,通过一个后端抽象实现跨异构设备、机器人和仿真器的部署。我们在两个 VLA 模型(HY-VLA 和 pi0.5)以及一个使用 LingBot-VA Transformer 块的初步 WAM 基准上对 Embodied.cpp 进行了评估。VLA 部署分别取得了 100.0% 和 91.0% 的任务成功率,实现了成功的闭环执行。WAM 基准将块内存从 312.2 MiB 降低到 88.1 MiB。这些结果表明 Embodied.cpp 能够在保持高精度的同时,提升多种具身模型架构的部署效率。

查看 arXiv 页面 (https://arxiv.org/abs/2607.02501) 查看 PDF (https://arxiv.org/pdf/2607.02501) GitHub17 (https://github.com/SEU-PAISys/Embodied.cpp) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.02501)

在您的代理中获取此论文:

hf papers read 2607\.02501

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

SEU-PAISys/Embodied.cpp 机器人学 • 5B • 更新于约4小时前 • 1 (https://huggingface.co/SEU-PAISys/Embodied.cpp)

引用此论文的数据集0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.02501 以从此页面链接。

引用此论文的 Space0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2607.02501 以从此页面链接。

包含此论文的合集0

没有包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection) 中以从此页面链接。

相似文章

Embodied-R1.5: 通过具身基础模型进化物理智能

Hugging Face Daily Papers

Embodied-R1.5 是一个统一的具身基础模型,通过多任务平衡强化学习在 24 个具身视觉-语言基准测试中的 16 个上取得了最先进性能。它引入了一个规划器-接地器-校正器闭环框架用于长视界任务,并且已开源以促进未来研究。

Capek 0.5:面向具身智能的以执行为中心的视觉-语言模型

arXiv cs.AI

本文介绍了 Capek 0.5,一个以执行能力分类法为核心的具身视觉-语言模型,通过强化学习进行专家训练,随后采用权重空间融合和路由策略空间蒸馏。它提出了一个新的状态验证基准,并在2B和35B-A3B规模上展示了在具身和通用能力上的强劲性能。

tencent/HY-Embodied-0.5

Hugging Face Models Trending

腾讯发布了HY-Embodied-0.5,这是一套为具身AI智能体设计的基础模型套件,采用混合变换器(MoT)架构,提供高效的2B和强大的32B变体,用于真实世界的机器人控制和时空推理。