iFLYTEK-Embodied-Omni Technical Report

# iFLYTEK-Embodied-Omni 技术报告
来源：https://arxiv.org/abs/2607.02542
作者：Yuan Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+Y),Jingfei Ni (https://arxiv.org/search/cs?searchtype=author&query=Ni,+J),Guanchen Lu (https://arxiv.org/search/cs?searchtype=author&query=Lu,+G),Shiqi Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+S),Qingshan Xu (https://arxiv.org/search/cs?searchtype=author&query=Xu,+Q),Chi Liu (https://arxiv.org/search/cs?searchtype=author&query=Liu,+C),Xin Nie (https://arxiv.org/search/cs?searchtype=author&query=Nie,+X),Wenjie Xu (https://arxiv.org/search/cs?searchtype=author&query=Xu,+W),Lin Gao (https://arxiv.org/search/cs?searchtype=author&query=Gao,+L),Zhiyuan Cheng (https://arxiv.org/search/cs?searchtype=author&query=Cheng,+Z),Mingxin Zhou (https://arxiv.org/search/cs?searchtype=author&query=Zhou,+M),Jiajia Wu (https://arxiv.org/search/cs?searchtype=author&query=Wu,+J),Diyuan Liu (https://arxiv.org/search/cs?searchtype=author&query=Liu,+D),Jia Pan (https://arxiv.org/search/cs?searchtype=author&query=Pan,+J),Chao Ji (https://arxiv.org/search/cs?searchtype=author&query=Ji,+C)

查看 PDF (https://arxiv.org/pdf/2607.02542)

> **摘要：**通用具身智能体需要理解多模态指令，预测环境如何演变，并在较长的时间跨度内生成精确的控制动作。现有方法通常专注于视觉-语言推理、基于视频的世界建模或动作生成，而先合成未来观测值再推导动作的级联流水线则可能引入接口瓶颈并加剧预测误差。我们提出了 iFLYTEK-Embodied-Omni，这是一个统一的多模态基础模型，在单个 Omni 框架内联合建模视觉（视频和图像）、语言和动作。其特定模态的视觉-语言、视频生成和动作生成组件通过共享的多模态自注意力进行通信。这种设计建立了脑-小脑协作：视觉-语言模型和视频生成模型构成高级脑，负责指令理解、任务规划、进度跟踪和未来视觉状态预测；而动作生成模型则充当低级小脑，直接将计划好的子目标和共享的多模态上下文转换为可执行的动作块。为培养这些能力，我们结合了来自人类示教和机器人交互的带动作标注和无动作标注的具身视频，以及具身推理、具身感知和通用图像-文本数据，构建了一个全面的数据集。我们进一步采用四阶段策略，先逐步训练 VLM、VGM 和 AGM，再对完整模型进行联合微调。

## 提交历史

来自：Yuan Zhang [查看邮箱](https://arxiv.org/show-email/d6dca6f9/2607.02542) **\[v1\]** 2026年6月24日星期三 00:25:44 UTC (3,114 KB)