SG-WAM:几何感知策略空间中的自引导世界建模

Hugging Face Daily Papers 论文

摘要

本文提出SG-WAM,一种自引导框架,用于直接在策略派生的表示空间中学习几何感知的、以动作为条件的世界模型。它在LIBERO和LIBERO-Plus基准测试上取得了最先进的成功率,在真实世界评估中超越了强基线。

世界动作模型(WAMs)将动作生成与未来状态预测相结合。其有效性取决于未来动态是否在一个既与动作生成对齐、又具有足够几何感知能力以捕捉动作在何处以及如何改变场景的空间中进行建模。现有的WAM通常只满足这一要求的一部分,要么依赖于感知开销较大的观测空间目标,要么依赖于未针对动作相关性和几何结构进行联合构建的辅助隐空间。我们提出SG-WAM,一种自引导框架,直接在策略派生的表示空间中学习几何感知的以动作为条件的动态。SG-WAM引入了可学习的动态令牌和一个自引导世界预测器,该预测器以干预的机器人动作为条件,预测其未来潜在状态。预测目标由同一策略骨干的指数移动平均副本生成,在动作专家使用的表示族内提供稳定的监督。几何监督进一步结构化策略图像令牌表示,为动态令牌提供空间上有依据的情境,并产生一个既与动作相关又具有几何感知的未来对齐空间。潜在未来预测、几何接地和流匹配动作生成在统一框架中端到端联合优化。SG-WAM基于一个0.9B模型,无需大规模具身预训练,在LIBERO上达到98.5%的平均成功率,在LIBERO-Plus上达到73%,同时在分布内和分布外的真实世界评估中均优于强基线。
查看原文
查看缓存全文

缓存时间: 2026/08/04 17:40

论文页面 - SG-WAM:几何感知策略空间中的自引导世界建模

来源:https://huggingface.co/papers/2608.01397 发布于 8 月 2 日

·

提交者:https://huggingface.co/Ruiteng

Zhao (https://huggingface.co/Ruiteng) 于 8 月 4 日

摘要

世界动作模型(WAMs)将动作生成与未来状态预测相结合。其有效性取决于未来动态是否在一个既与动作生成对齐、又具有足够几何感知能力以捕捉动作如何以及在哪里改变场景的空间中被建模。现有的 WAM 通常仅满足这一需求的一部分,要么依赖感知负担较重的观测空间目标,要么依赖未针对动作相关性和几何结构进行联合设计的辅助潜在空间。我们提出 SG-WAM,一个自引导框架,直接在策略派生的表示空间中学习几何感知的动作条件动态。SG-WAM 引入了可学习的动态令牌(dynamic tokens)和一个自引导世界预测器(Self-Guided World Predictor),该预测器基于中间机器人动作来预测它们未来的潜在状态。预测目标由同一策略主干的指数移动平均副本生成,在动作专家所使用的表示族内提供稳定的监督。几何监督进一步结构化策略的图像令牌表示,为动态令牌提供空间上有依据的上下文,并生成一个既与动作相关又具有几何感知的未来对齐空间。潜在未来预测、几何基础以及流匹配动作生成在一个统一框架中进行端到端联合优化。SG-WAM 构建于一个 0.9B 模型之上,无需大规模具身预训练,在 LIBERO 上达到 98.5% 的平均成功率,在 LIBERO-Plus 上达到 73%,同时在分布内和分布外的真实世界评估中均优于强基线。

查看 arXiv 页面 (https://arxiv.org/abs/2608.01397) 查看 PDF (https://arxiv.org/pdf/2608.01397) 项目页面 (https://sg-wam.github.io/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.01397)

在你的 agent 中获取此论文:

hf papers read 2608\.01397

没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.01397 即可从此页面链接到它。

引用此论文的数据集 0

暂无数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.01397 即可从此页面链接到它。

引用此论文的 Space 0

暂无 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.01397 即可从此页面链接到它。

包含此论文的收藏集 0

暂无收藏集包含此论文

将这篇论文添加到一个收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到它。

相似文章

Geometric Action Model 用于机器人策略学习

Hugging Face Daily Papers

Geometric Action Model (GAM) 将预训练的几何基础模型 (GFM) 重新用作语言条件机器人操作的统一骨干,在模拟和真实世界基准测试中,相比现有的基础模型规模基线,实现了更高的准确性、鲁棒性和效率。