论文页面 - 用于统一世界建模、语言推理与动作合成的世界-语言-动作模型

来源：https://huggingface.co/papers/2606.05979 作者：

,

,

,

,

,

,

,

,

,

,

摘要

世界-语言-动作模型通过自回归Transformer主干将文本指令处理与机器人状态预测相结合，实现了高效的长时域任务执行与跨具身学习。

我们提出世界-语言-动作（WLA）模型作为具身基础模型的新类别。WLA以文本指令、图像和机器人状态为输入，联合预测文本子任务、子目标图像和机器人动作，将世界建模接口与语言推理能力相结合，从而借助大量的自我中心视频进行学习（如同在世界-动作模型（WAM）中那样），并解决复杂的长期任务（如同在视觉-语言-动作（VLA）模型中那样）。WLA的核心是自回归（AR）Transformer主干，而非WAM中的双向扩散Transformer，用于预测下一状态，该状态包含语义层面的文本意图和互补的细粒度物理动力学。物理动力学由基于专用世界专家的世界建模目标监督，并用于简化动作专家刻画状态-动作相关性。WLA利用元查询使世界预测隐式影响动作生成，从而在推理时可禁用世界预测。世界预测也可被激活以支持测试时缩放，从而改进机器人控制。我们的WLA-0原型拥有2B活跃参数，在NVIDIA RTX 5090上每次推理仅需40毫秒。在仿真和真实环境中的评估表明，WLA-0达到了最先进的多任务与长时域学习能力，例如在RoboTwin2.0 Clean上成功率为92.94%，在RMBench上成功率为56.5%。WLA-0还有望直接从跨具身机器人视频中学习新任务，无需动作标注。

查看 arXiv 页面 (https://arxiv.org/abs/2606.05979) 查看 PDF (https://arxiv.org/pdf/2606.05979) GitHub (https://github.com/SJTU-DENG-Lab/WLA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.05979)

在您的智能体中获取此论文：

hf papers read 2606.05979

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.05979 以链接到此页面。

引用此论文的数据集0

暂无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.05979 以链接到此页面。

引用此论文的 Space0

暂无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.05979 以链接到此页面。

包含此论文的收藏集0

暂无收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）中以链接到此页面。