可操作的世界表示

Hugging Face Daily Papers 论文

摘要

WorldString是一种神经架构,能够从点云或RGB-D视频流中建模物体状态流形,作为物理世界模型的基础组件,其可微结构便于与策略学习集成。

受大型语言模型中涌现的通用人类智能行为的启发,研究社区正在世界模型(尤其是物理世界模型)中探索类似的涌现能力。在物理世界模型范畴内,物体是构成物理现实的基本原语。从人类到计算机,我们几乎与所有事物交互的实体都是物体。这些物体很少是静态的;它们是可操作的实体,其状态由内在属性决定。尽管现有方法通过视频生成或动态场景重建来处理物体动作状态,但没有任何方法以统一、原则性的方式显式建模这一基本元素,以构建可操作的物体表示。我们提出WorldString,一种神经架构,能够通过直接从点云或RGB-D视频流中学习,来建模真实世界物体的状态流形。作为通用的数字孪生体,它成为物理世界模型的基础构建模块,因此我们称之为WorldString。此外,其完全可微的结构无缝支持未来与策略学习和神经动力学的集成。
查看原文
查看缓存全文

缓存时间: 2026/05/19 06:30

论文页面 - 可操作世界表示

来源:https://huggingface.co/papers/2605.18743

摘要

WorldString 是一种从点云或 RGB-D 视频流中建模对象状态流形的神经网络架构,作为具有可微结构、可集成策略学习的物理世界模型的基石。

受大型语言模型中涌现出的类人智能行为的启发,研究社区正在探索世界模型(https://huggingface.co/papers?q=world%20models)中类似的涌现能力,重点聚焦于物理世界的建模。在物理世界模型的范畴内,对象是构成物理现实的基本基元。从人类到计算机,我们几乎与之交互的一切都是对象。这些对象很少是静态的;它们是可操作的实体,其状态由其内在属性决定。虽然当前的方法通过视频生成或动态场景重建来处理对象动作状态,但没有任何方法以一种统一、有原则的方式显式建模这一基本元素,以构建可操作的对象表示(https://huggingface.co/papers?q=object%20representation)。我们提出 WorldString,一种神经网络架构(https://huggingface.co/papers?q=neural%20architecture),能够通过直接从点云(https://huggingface.co/papers?q=point%20clouds)或 RGB-D 视频流(https://huggingface.co/papers?q=RGB-D%20video%20streams)学习,对真实世界对象的状态流形(https://huggingface.co/papers?q=state%20manifold)进行建模。作为一种通用的数字孪生(https://huggingface.co/papers?q=digital%20twin),它作为物理世界模型(https://huggingface.co/papers?q=world%20models)的基础构建模块;因此我们将其命名为 WorldString。更妙的是,其完全可微的结构无缝地实现了与策略学习(https://huggingface.co/papers?q=policy%20learning)和神经动力学(https://huggingface.co/papers?q=neural%20dynamics)的未来集成。

查看 arXiv 页面(https://arxiv.org/abs/2605.18743)查看 PDF(https://arxiv.org/pdf/2605.18743)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.18743)

在你的代理中获取这篇论文:

hf papers read 2605\.18743

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接到这篇论文

在模型 README.md 中引用 arxiv.org/abs/2605.18743 即可从此页面链接。

引用该论文的数据集0

没有数据集链接到这篇论文

在数据集 README.md 中引用 arxiv.org/abs/2605.18743 即可从此页面链接。

引用该论文的 Spaces0

没有 Space 链接到这篇论文

在 Space README.md 中引用 arxiv.org/abs/2605.18743 即可从此页面链接。

包含该论文的收藏集0

没有收藏集包含这篇论文

将这篇论文添加到收藏集(https://huggingface.co/new-collection)即可从此页面链接。

相似文章