具有可配置感知能力的世界模型

Hugging Face Daily Papers 论文
world-models task-conditioned-state-extraction planning robust-perception language-conditioning reinforcement-learning

摘要

ConfigWM 为世界模型引入了可配置感知，利用任务描述引导视觉嵌入映射到特定任务的状态空间，从而过滤无关干扰，在噪声环境中的规划成功率比最强基线提高了 22.3%。

现实世界中的观测含有噪声，并且往往包含过多与任务无关的信息。有效的世界建模与规划需要将观测抽象为世界状态表征，同时滤除无关信息。然而，现有世界模型中的编码器通常不具备自适应能力，导致状态表征容易受到任务无关信息的干扰。因此，模型可能无法根据不同任务的需求选择性地过滤观测。为解决这一问题，我们提出了 ConfigWM，通过以任务为条件的状态提取实现可配置感知。给定当前任务的语言描述，ConfigWM 将其用作配置信号，引导视觉嵌入映射到任务特定状态空间的过程，选择性地保留与当前任务相关的信息，同时抑制与任务无关的变化。随后，在该任务特定状态空间中学习以动作为条件的动力学，以用于规划。我们在干扰程度逐步增加的环境中评估了 ConfigWM。随着环境噪声不断增加，现有方法的规划成功率显著下降，而 ConfigWM 则保持相对稳定，并在多种环境中平均超越最强的竞争方法 22.3%。在物理量探测（皮尔逊相关系数 r 提高 0.365）以及从受干扰观测到无干扰观测的检索（提高 75.5%）中取得的一致提升进一步表明，ConfigWM 学到的状态既能保留任务相关信息，又能对干扰因素保持鲁棒性，从而支持在嘈杂世界中进行可靠的世界建模与规划。项目主页：https://configwm.github.io
查看原文
查看缓存全文

缓存时间: 2026/10/21 18:24

论文页面 - 具有可配置感知的世界模型

来源：https://huggingface.co/papers/2610.27914

摘要

ConfigWM 利用任务描述将视觉嵌入引导至任务特定的状态空间，过滤无关噪声，以实现稳健的规划.

现实世界的观测充满噪声，并且往往包含过多与任务无关的信息. 有效的世界建模 (https://huggingface.co/papers?q=world%20modeling)和规划 (https://huggingface.co/papers?q=planning)需要将观测抽象为世界状态表示 (https://huggingface.co/papers?q=state%20representations)，同时过滤无关信息. 然而，现有世界模型中的编码器通常不具备自适应能力，导致状态表示 (https://huggingface.co/papers?q=state%20representations)容易受到任务无关信息的干扰. 因此，模型可能无法根据不同任务的需求，有选择地过滤观测. 为解决这一问题，我们提出了 ConfigWM，通过以任务为条件的状态提取 (https://huggingface.co/papers?q=task-conditioned%20state%20extraction)实现可配置感知 (https://huggingface.co/papers?q=configurable%20perception). 给定当前任务的语言描述，ConfigWM 将其用作配置信号，引导视觉嵌入映射到任务特定状态空间的方式，有选择地保留与当前任务相关的信息，同时抑制与任务无关的变化. 随后，在这一任务特定的状态空间中学习以动作为条件的动态模型 (https://huggingface.co/papers?q=Action-conditioned%20dynamics)，用于规划 (https://huggingface.co/papers?q=planning). 我们在干扰程度逐渐增加的环境中评估了 ConfigWM. 随着环境噪声不断增加，现有方法的规划 (https://huggingface.co/papers?q=planning)成功率显著下降，而 ConfigWM 则保持相对稳定，并在多种环境中平均比最强的竞争方法高出 22.3%. 在物理量探测 (皮尔逊相关系数 r 提升 +0.365) 和从受干扰观测到无干扰观测的检索 (提升 +75.5%) 方面持续取得的增益进一步表明，ConfigWM 学到的状态既能保留与任务相关的信息，又能抵抗干扰，从而支持在充满噪声的世界中进行可靠的世界建模 (https://huggingface.co/papers?q=world%20modeling)和规划 (https://huggingface.co/papers?q=planning). 项目页面：https://configwm.github.io

查看 arXiv 页面 (https://arxiv.org/abs/2610.27914)查看 PDF (https://arxiv.org/pdf/2610.27914)项目页面 (https://configwm.github.io/)GitHub0 (https://github.com/yijunshens/ConfigWM)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.27914)

在你的智能体中获取这篇论文：

hf papers read 2610\.27914

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.27914，即可从本页面链接到该模型.

引用这篇论文的数据集1

YijunShen/ConfigWM 更新于约 15 小时前 • 545 (https://huggingface.co/datasets/YijunShen/ConfigWM)

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.27914，即可从本页面链接到该 Space.

收录这篇论文的合集0

没有收录这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集.

相似文章

心智世界建模

Hugging Face Daily Papers

本文介绍了心智世界建模（MWM），这是一个将隐藏的心理状态作为世界模型核心组件的框架，并提出了MENTIS，一个无需训练的基线。基于8个LLM世界模型的实验表明，显式的心智状态建模对于预测情境化场景中的人类决策至关重要。

TaskSense：专注于世界模型中的关键要素

arXiv cs.AI

TaskSense 提出了一种以任务为中心的世界建模框架，利用基于先前潜在状态的条件随机空间注意力以及辅助逆动力学目标，聚焦于与控制相关的区域，相比 DreamerV3，在视觉干扰下具有更强的鲁棒性。

面向机器人控制的上下文世界建模

Hugging Face Daily Papers

本文介绍了上下文世界建模（ICWM），这是一个使机器人策略能够从自身生成的交互中推断系统变量的框架，通过将系统识别视为一个上下文自适应问题，无需参数更新即可适应新的配置。在模拟和真实世界实验中，它在处理新的相机视角时优于标准的VLA基线。

基于渐进式视觉规划的世界动作建模

arXiv cs.AI

ProWAM 是一种渐进式世界动作模型，能够联合预测机器人动作以及有序的稀疏视觉子目标序列，从而在无需密集视频生成的情况下实现高效的长时程控制。该模型在 LIBERO-Plus 和 RoboTwin 上取得了当前最优的结果，并在真实世界中实现了 70% 的零样本成功率。