tencent/Hy-Embodied-RxBrain-1.0 · Hugging Face 来源：https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0 具身认知基础模型，联合语言-视觉推理与想象 腾讯 Robotics X × 福田实验室 × 腾讯混元 技术报告 (https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0/blob/main/assets/RxBrain_v0.pdf)模型 (https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0)GitHub (https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0) RxBrain — 能力概览 ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%F0%9F%94%A5-updates🔥 更新 - \[2026\-07\]🎉 我们发布了 Hy-Embodied-RxBrain-1.0——包括技术报告、官方推理代码和模型权重。 ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%F0%9F%93%96-introduction📖 简介 RxBrain（Hy\-Embodied\-RxBrain\-1\.0）是一个统一的具身认知多模态基础模型——单一模型将语言推理与视觉想象相结合，提供三项核心能力： - 🤖具身理解与推理——对图像和多帧视频进行问答与思维链推理。 - 🔮世界状态预测——想象动作在物理世界中产生的近未来帧。 - 🧩联合子目标规划——将任务分解为步骤，为每一步同时输出下一个动作（语言）和应达到的目标图像（视觉）。 这些能力通过交错生成统一：在一个自回归序列中，RxBrain 交替输出推理文本和流匹配生成的想象帧——一个学习的 <image> 标记决定何时进行想象。这样，具身规划将“做什么”与“世界应该看起来什么样子”逐步结合起来。 ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%E2%AD%90%EF%B8%8F-key-features⭐️ 核心特性 - 🧠统一混合变换器（MoT）： 约 6.2B 参数的主干网络，包含模态特定通路（文本/视觉/生成），使得理解与图像合成共享同一个自回归模型，无需独立塔结构。 - 🎨流匹配图像头： 想象帧由流匹配头解码到冻结的 FLUX VAE 潜空间生成，支持文本到图像、多帧世界模型 rollout 和目标图像规划。 - 🔗交错推理与想象： 文本推理与生成的帧在同一个序列中输出，将符号计划与视觉目标结合起来。 ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%F0%9F%93%85-roadmap📅 路线图 - Transformers 推理（理解 + 生成） - vLLM 推理 - 微调代码 - 在线 Gradio 演示 ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%F0%9F%9B%A0%EF%B8%8F-dependencies-and-installation🛠️ 依赖与安装 ### https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#prerequisites前置条件 - 🖥️操作系统：Linux（推荐） - 🐍Python：3.10+ - ⚡CUDA：12.x，需要 NVIDIA GPU（flash-attn 必需） - 🔥PyTorch：2.10 ### https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#installation安装 1. 安装本模型所需的特定 Transformers 版本（它提供了 unified_mot 所基于的 hunyuan_vl_mot 主干）： pip install git+https://github.com/huggingface/transformers@9293856c419762ebf98fbe2bd9440f9ce7069f1a > 注意： 官方发布的 transformers 尚不包含 hunyuan_vl_mot；必须使用此特定提交。我们将在后续将其合并到 Transformers 主分支。 1. 克隆推理代码并安装其余依赖： git clone https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0.git cd Hy-Embodied-RxBrain-1.0 pip install -r requirements.txt ### https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#model-download模型下载 将权重下载到本地目录——加载器直接读取检查点文件，因此 --ckpt 必须是本地路径，而非 Hub 仓库 ID： pip install -U "huggingface_hub[cli]" hf download tencent/Hy-Embodied-RxBrain-1.0 --local-dir ./Hy-Embodied-RxBrain-1.0 VQA（理解）路径仅需要主权重。图像生成（T2I / 世界模型 rollout / 交错规划）额外需要外部的 FLUX VAE ae.safetensors。 ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%F0%9F%9A%80-quick-start-with-transformers🚀 Transformers 快速上手 加载 Transformers 处理器以及本仓库提供的 UnifiedMoT 类，然后运行理解（VQA）。在仓库根目录下运行此代码，使 model 包可导入，并将 MODEL_PATH 指向您的本地下载目录（参见模型下载 (https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#model-download)）。 import torch from transformers.models.hunyuan_vl_mot import HunYuanVLMoTProcessor from model import UnifiedMoTForConditionalGeneration, maybe_init_generation_path from vqa_inference import answer MODEL_PATH = "./Hy-Embodied-RxBrain-1.0" # 本地检查点目录，而非 Hub ID device = torch.device("cuda" if torch.cuda.is_available() else "cpu") dtype = torch.bfloat16 # 加载处理器与模型 processor = HunYuanVLMoTProcessor.from_pretrained(MODEL_PATH, trust_remote_code=True) model = UnifiedMoTForConditionalGeneration.from_pretrained(MODEL_PATH, dtype=dtype) maybe_init_generation_path(model, model_load_path=MODEL_PATH) # 配置生成路径 model.to(device).eval() # 就图片提问 text = answer( model, processor, image_paths=["demo_cases/bridgev2_move_toy/input/obs_1.jpg"], question="灶台上有什么物体？绿色玩具在哪里？", device=device, dtype=dtype, max_new_tokens=256, ) print(text) > 注意： RxBrain 使用自定义的交错文本/图像解码循环，而非标准的 model.generate API。answer(...) 辅助函数（位于 vqa_inference.py 中）为理解场景包装了该循环；图像生成和规划有各自的入口点，见下文。 同样任务也可通过可直接运行的脚本完成： 1 视觉问答（VQA）——图像 + 问题 → 答案文本纯自回归文本理解——无需 VAE / 流匹配。 python vqa_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 \ --images demo_cases/bridgev2_move_toy/input/obs_1.jpg \ --question "灶台上有什么物体？绿色玩具在哪里？" \ --max_new_tokens 256 2 文本到图像（T2I）python text2image_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --prompt "一只猫的水彩画" \ --height 256 --width 256 --num_steps 25 --out out.png # 使用无分类器引导 python text2image_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --prompt "一只猫的水彩画" \ --cfg_scale 5.0 --num_steps 50 --out out.png 3 多帧世界模型 rollout——从观测图像想象未来帧python multiframe_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --frames /path/to/obs.jpg --task "想象下一帧" \ --num_frames 4 --num_steps 50 --out_dir multiframe_out 4 交错具身规划——逐步输出文本计划 + 目标图像在捆绑场景上运行交错规划。详情请参见 demo_cases/README.md (https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0/blob/main/demo_cases/README.md)。 CASE=umi_fold_sock python interleave_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --frames demo_cases/$CASE/input/*.jpg \ --task "$(cat demo_cases/$CASE/prompt.txt)" \ --max_frames 5 --num_steps 50 --out_dir out_$CASE ## https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0#%F0%9F%93%8A-evaluation📊 评估 RxBrain 在具身理解、空间推理以及想象/生成基准上进行了评估。有关详细指标和方法，请参阅我们的技术报告 (https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0/blob/main/assets/RxBrain_v0.pdf)。