论文页面 - RxBrain：联合语言-视觉推理与想象的具身认知基础模型

来源：https://huggingface.co/papers/2607.14187 作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

具身认知要求智能体将高层任务推理与待达成的物理状态相连接。我们提出Hy-Embodied-RxBrain，一个具有联合语言-视觉推理与想象能力的具身认知基础模型。与强调场景理解和文本决策的视觉语言模型，或主要预测未来视觉状态的生成式世界模型不同，RxBrain将具身规划表示为单个规划序列，其中语言和视觉想象发挥互补作用。语言提供规划的抽象结构，包括任务分解、规划原语、约束、时序顺序和决策逻辑，而视觉想象则通过世界状态预测和联合子目标规划将该结构具象化，将每个规划步骤与中间和最终物理状态关联起来。RxBrain采用统一的混合Transformer多模态架构，支持在单一模型内进行语言、图像和视频的理解与生成。为训练该能力，我们构建了一条自动化流水线，通过将视频分解为规划步骤并将其与视觉状态转换对齐，将具身视频转换为联合文本-视觉规划监督。我们进一步引入RxBrain-Bench，以评估模型能否通过联合文本和视觉组件表示具身规划，而非分离的理解或生成任务。实验表明，RxBrain保持了具身理解和生成能力，并能生成包含耦合的文本推理、世界状态预测和联合子目标规划的规划。我们还将RxBrain扩展到连续机器人动作生成，在无需大规模动作数据预训练的情况下展示了有前景的真实机器人性能。这些结果为面向具身认知的基础模型迈出了初步一步。

查看arXiv页面 (https://arxiv.org/abs/2607.14187) 查看PDF (https://arxiv.org/pdf/2607.14187) 项目页面 (https://tairos.tencent.com/openSourceModels/hy-embodied-rxbrain-1.0) GitHub90 (https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.14187)

引用本论文的模型1

tencent/Hy-Embodied-RxBrain-1.0 Any-to-Any • 6B • 更新于2天前 • 174 • 42 (https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0)

引用本论文的数据集0

没有数据集链接本论文

在数据集README.md中引用 arxiv.org/abs/2607.14187 以从此页面链接。

引用本论文的空间2

包含本论文的集合0

没有集合包含本论文

添加本论文到一个集合 (https://huggingface.co/new-collection) 以从此页面链接。