Paper page - Masked Visual Actions for Unified World Modeling

Source: https://huggingface.co/papers/2607.19343 Authors:

,

,

,

,

,

,

,

,

,

摘要

视频模型吸收了关于视觉世界如何运动、交互和响应接触的丰富先验，使其成为机器人世界建模的有前途的基座。核心挑战在于如何在与这些模型学习交互先验的视觉空间对齐、同时又扎根于物理操作的形式中，将动作传达给这类模型。我们提出了掩码视觉动作（Masked Visual Actions），一种像素空间控制接口，将动作表示为视频中任意实体的部分暴露轨迹。揭示机器人运动使得模型充当正向动力学模型，预测场景对底层机器人动作的响应；而揭示期望的物体运动则使同一模型恢复与该结果一致的机器人行为。仅使用来自真实视频和模拟中15小时的掩码示例进行微调，单个检查点即可在多种场景和多具身形态下实现强大的视觉保真度和可控性。在下游操控设置中，该模型生成的想象 rollout 结果与真实世界执行相关联，可用于策略评估；通过排序模型规划中的候选未来来改进决策；并支持逆向建模，根据期望的物体运动合成机器人运动。

查看 arXiv 页面 (https://arxiv.org/abs/2607.19343) 查看 PDF (https://arxiv.org/pdf/2607.19343) 项目页面 (https://masked-visual-actions.github.io/) GitHub1 (https://github.com/HadiZayer/masked-visual-actions) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.19343)

在您的代理中获取此论文：

hf papers read 2607.19343

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2607.19343 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2607.19343 以从此页面链接。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2607.19343 以从此页面链接。

包含此论文的集合0

没有包含此论文的集合

将本论文添加到一个集合 (https://huggingface.co/new-collection) 中以从此页面链接。