SG-WAM:几何感知策略空间中的自引导世界建模
摘要
本文提出SG-WAM,一种自引导框架,用于直接在策略派生的表示空间中学习几何感知的、以动作为条件的世界模型。它在LIBERO和LIBERO-Plus基准测试上取得了最先进的成功率,在真实世界评估中超越了强基线。
查看缓存全文
缓存时间: 2026/08/04 17:40
论文页面 - SG-WAM:几何感知策略空间中的自引导世界建模
来源:https://huggingface.co/papers/2608.01397 发布于 8 月 2 日
·
提交者:https://huggingface.co/Ruiteng
Zhao (https://huggingface.co/Ruiteng) 于 8 月 4 日
摘要
世界动作模型(WAMs)将动作生成与未来状态预测相结合。其有效性取决于未来动态是否在一个既与动作生成对齐、又具有足够几何感知能力以捕捉动作如何以及在哪里改变场景的空间中被建模。现有的 WAM 通常仅满足这一需求的一部分,要么依赖感知负担较重的观测空间目标,要么依赖未针对动作相关性和几何结构进行联合设计的辅助潜在空间。我们提出 SG-WAM,一个自引导框架,直接在策略派生的表示空间中学习几何感知的动作条件动态。SG-WAM 引入了可学习的动态令牌(dynamic tokens)和一个自引导世界预测器(Self-Guided World Predictor),该预测器基于中间机器人动作来预测它们未来的潜在状态。预测目标由同一策略主干的指数移动平均副本生成,在动作专家所使用的表示族内提供稳定的监督。几何监督进一步结构化策略的图像令牌表示,为动态令牌提供空间上有依据的上下文,并生成一个既与动作相关又具有几何感知的未来对齐空间。潜在未来预测、几何基础以及流匹配动作生成在一个统一框架中进行端到端联合优化。SG-WAM 构建于一个 0.9B 模型之上,无需大规模具身预训练,在 LIBERO 上达到 98.5% 的平均成功率,在 LIBERO-Plus 上达到 73%,同时在分布内和分布外的真实世界评估中均优于强基线。
查看 arXiv 页面 (https://arxiv.org/abs/2608.01397) 查看 PDF (https://arxiv.org/pdf/2608.01397) 项目页面 (https://sg-wam.github.io/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.01397)
在你的 agent 中获取此论文:
hf papers read 2608\.01397
没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
暂无模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2608.01397 即可从此页面链接到它。
引用此论文的数据集 0
暂无数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2608.01397 即可从此页面链接到它。
引用此论文的 Space 0
暂无 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2608.01397 即可从此页面链接到它。
包含此论文的收藏集 0
暂无收藏集包含此论文
将这篇论文添加到一个收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到它。
相似文章
Geometric Action Model 用于机器人策略学习
Geometric Action Model (GAM) 将预训练的几何基础模型 (GFM) 重新用作语言条件机器人操作的统一骨干,在模拟和真实世界基准测试中,相比现有的基础模型规模基线,实现了更高的准确性、鲁棒性和效率。
@HuggingPapers:用于机器人策略学习的几何动作模型,复用几何基础模型作为感知的骨干网络…
几何动作模型将几何基础模型用于机器人策略学习,在LIBERO-Plus上达到85.5%的准确率,推理仅需6.9毫秒,比基线模型快55倍。
WAM-Policy:面向四足运动-操作的世界动作模型与在线策略蒸馏
WAM-Policy 通过跨形态适配、在线自蒸馏与多教师蒸馏,将以机械臂为核心的世界动作模型改造为语言条件下的四足运动-操作策略,在 QLM-Bench 上达到 85.0% 的成功率,推理速度提升 14 倍,并成功部署于真实的 Unitree Go2 Air。
LaWAM:面向高效动力学感知机器人策略的潜在世界动作模型
LaWAM通过预测紧凑的潜在视觉子目标而非昂贵的视频生成,实现了高效的机器人控制,相比像素空间世界动作模型,成功率可达最先进水平,同时延迟降低高达24倍。
SimWAM:一种用于端到端自动驾驶的简单世界动作模型
SimWAM是一种简单而有效的世界动作模型,用于端到端自动驾驶,它将视频生成纯粹用作训练信号,在NAVSIM上实现了最先进的91.5 PDMS,同时降低了推理延迟。