论文页面 - LeWAM：基于 JEPA 的端到端世界与动作建模

来源：https://huggingface.co/papers/2610.12818

摘要

联合嵌入预测架构（JEPA）能够在不进行像素重建的情况下学习紧凑的隐式（latent）世界模型。现有的 JEPA 流程通常先训练视觉表征与动作条件下的动力学模型，之后再接入控制策略或求解器。我们提出 LeWAM，一个用于控制的端到端 JEPA 模型，具备以下特点：

1. 针对下一隐状态预测与动作流匹配（action flow matching）的联合训练目标；
2. 对隐状态施加各向异性高斯约束，使单一模型既能直接执行策略，又能通过其学到的隐动力学模型评估采样出的动作，实现高效规划。

与以往用于视觉规划的 JEPA 相比，LeWAM 在接触密集型任务上将成功率从 28.6% 提升至 89.7%，在长时程任务上从 10.9% 提升至 46.2%，且规划速度快 32.3 倍。在仿真与实体机器人上的行为克隆任务中，LeWAM 同样具有与成熟方法相当的竞争力。可解释性分析表明，LeWAM 能有效学习与控制相关的表征和动作分布，从而引导测试时的规划与控制。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12818)｜查看 PDF (https://arxiv.org/pdf/2610.12818)｜项目页面 (https://le-wam.github.io/)｜GitHub 228 (https://github.com/MinghaoFu/lewam)｜加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12818)

在你的 agent 中获取该论文：

hf papers read 2610.12818

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型：0

暂无模型关联该论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.12818，即可从本页面链接过去。

引用该论文的数据集：0

暂无数据集关联该论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.12818，即可从本页面链接过去。

引用该论文的 Space：0

暂无 Space 关联该论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.12818，即可从本页面链接过去。

包含该论文的合集：0

暂无合集包含该论文。

将该论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接过去。