面向机器人控制的上下文世界建模
摘要
本文介绍了上下文世界建模(ICWM),这是一个使机器人策略能够从自身生成的交互中推断系统变量的框架,通过将系统识别视为一个上下文自适应问题,无需参数更新即可适应新的配置。在模拟和真实世界实验中,它在处理新的相机视角时优于标准的VLA基线。
查看缓存全文
缓存时间: 2026/06/26 06:05
论文页面 - In-Context World Modeling for Robotic Control
来源:https://huggingface.co/papers/2606.26025
摘要
ICWM 使得机器人策略能够从自身生成的交互中推断系统变量,从而无需参数更新即可适应新配置,它将系统辨识视为一个上下文内自适应问题。
现代视觉-语言-动作(VLA)模型通常无法泛化到新场景,例如改变的摄像机视角或机器人形态,因为它们通常仅以当前观测和语言指令为条件。忽略底层系统配置作为变量,这些模型隐式假设训练中遇到的固定执行上下文,导致任何新环境都需要大量数据微调。在这项工作中,我们引入了上下文内世界建模(ICWM)框架,该框架将系统辨识视为一个上下文内自适应问题。ICWM 使机器人策略能够从短暂的自生成、任务无关交互历史中自主推断关键系统变量。与使用示范来指定执行什么任务的传统上下文内学习不同,ICWM 利用上下文窗口来理解系统如何运行。通过在任务执行前处理这些交互,模型隐式捕获当前系统的世界动态,从而无需参数更新即可适应新配置。在仿真和真实机器人平台上的大量实验表明,ICWM 在新摄像机视角上显著优于标准 VLA 基线。
查看 arXiv 页面 (https://arxiv.org/abs/2606.26025)查看 PDF (https://arxiv.org/pdf/2606.26025)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.26025)
引用本文的模型 0
暂无与本文关联的模型
请在模型 README.md 中引用 arxiv.org/abs/2606.26025,以便从本页链接到它。
引用本文的数据集 0
暂无与本文关联的数据集
请在数据集 README.md 中引用 arxiv.org/abs/2606.26025,以便从本页链接到它。
引用本文的 Spaces 0
暂无与本文关联的 Space
请在 Space README.md 中引用 arxiv.org/abs/2606.26025,以便从本页链接到它。
包含本文的收藏 0
暂无包含本文的收藏
请将本文添加到一个收藏 (https://huggingface.co/new-collection)中,以便从本页链接到它。
相似文章
情境中的世界:基于上下文条件化的交互式视频世界建模
World-in-Context 提出了一种交互式视频世界建模框架,通过上下文条件化(In-Context Conditioning),将视角、动作和相机控制作为显式 token 统一纳入共享的自注意力空间,并引入 Interaction-Transport RoPE 以保持时间连续性。其 5B 模型在 WBench 上的导航性能与 22B 的 EchoWM 相当,同时实现了 93.8% 的视角切换成功率,而现有 5B 基线模型的成功率仅为 18.8%。
像世界模型一样思考,像VLA一样行动:将世界模型表示蒸馏到紧凑的机器人策略中
本文介绍了THAW-VLA,一种将世界模型表示蒸馏到视觉-语言-动作模型中的方法,用于机器人学,增强了在模拟和真实硬件上的鲁棒性和性能,而不会增加推理开销。
InternW0:用于高效真实世界交互的基础物理世界模型
InternW0是来自Shanghai AI Laboratory的基础物理世界模型,联合学习视觉动态与机器人控制以实现高效的真实世界交互,在异质数据上训练,并在科学任务上进行评估。
World in World: 用世界模型探索世界
本文介绍了 World in World,这是一个无需训练的接口,可以通过使用对应引导查询和基于证据的注意力指导,在冻结的自回归视频世界模型中实现灵活的相机和时间控制。
WCM:一种用于视觉-语言-行动强化学习的世界评论模型
介绍了WCM,一种世界评论模型,它联合预测未来的潜在状态并估计价值,以改进视觉-语言-行动强化学习的时间建模,在多个机器人操作基准上取得了最先进的结果。