WorldPlay2:扩展控制与长时程中的实时交互式世界模型

Hugging Face Daily Papers 论文

摘要

WorldPlay2 是一种交互式世界模型,集成了分解式混合控制接口、压缩记忆和稳定蒸馏,以在控制任务中实现实时响应性和长时一致性。

交互式世界模型需要实时响应多样化的控制并保持长时一致性。然而,建模异构控制仍然困难,而爆炸性上下文和不稳定的蒸馏阻碍了同时实现长时一致性和实时响应性。在本文中,我们提出了 WorldPlay2,一种交互式世界模型,它将分解式混合控制接口与压缩记忆和稳定蒸馏的协同设计相结合。1) 我们的分解式混合控制接口将帧对齐的动作控制与结构化语义控制集成,显式地解耦场景外观、角色身份和动态语义事件,从而促进有效的控制学习。2) 为实现高效的长时建模,我们将历史上下文压缩为紧凑的记忆令牌,由自回归学生和双向教师共享。这种设计使得基于记忆的片段级分数评估成为可能,而不是联合处理整个长序列,从而显著减少蒸馏开销。3) 我们进一步提出了 Stable Forcing,它通过少步策略初始化自回归学生,并利用全序列回放来保持长时序列的质量,确保鲁棒和稳定的蒸馏。大量实验表明,我们模型的强大泛化能力以及与现有方法相比的优越性能。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:15

论文页面 - WorldPlay2:扩展实时交互世界模型的控制范围与视野

来源:https://huggingface.co/papers/2609.35560

摘要

交互式世界模型需要实时响应多样化控制,并保持长期视野的一致性。然而,建模异构控制仍然困难,而爆炸性上下文和不稳定的蒸馏阻碍了同时实现长期一致性和实时响应。本文提出WorldPlay2,一个交互式世界模型,它将分解式混合控制接口与压缩记忆和稳定蒸馏的协同设计相结合。1)我们的分解式混合控制接口集成了帧对齐的动作控制与结构化语义控制,后者显式解耦了场景外观、角色身份和动态语义事件,从而促进了有效的控制学习。2)为了实现高效的长期建模,我们将历史上下文压缩为自回归学生和双向教师共享的紧凑记忆标记。此设计实现了基于片段、记忆条件的评分评估,而非联合处理整个长序列,显著减少了蒸馏开销。3)我们进一步提出StableForcing,它通过少步策略初始化自回归学生,并利用全序列回放来保持长期序列的质量,确保了鲁棒且稳定的蒸馏。大量实验表明我们模型具有强大的泛化能力及优于现有方法的性能。

查看 arXiv 页面 (https://arxiv.org/abs/2609.35560)查看 PDF (https://arxiv.org/pdf/2609.35560)项目页面 (https://worldplay2.github.io/)GitHub9 (https://github.com/WorldPlay2/WorldPlay2)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.35560)

通过代理获取此论文:

hf papers read 2609.35560

没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.35560 以将其链接到此页面。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.35560 以将其链接到此页面。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.35560 以将其链接到此页面。

包含此论文的收藏夹0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以将其链接到此页面。

相似文章

ReWorld:一个具有长期记忆的交互式世界模型

Hugging Face Daily Papers

ReWorld 提出了一个交互式世界模型,该模型使用混合注意力窗口和分布匹配的LoRA蒸馏,将短期控制与长期记忆解耦,实现了具有高动作保真度和回忆能力的实时视频生成。

无限世界与多样交互

Hugging Face Daily Papers

本文介绍了LingBot-World 2.0,一个先进的世界建模系统,具有无界交互范围、实时720p 60fps视频生成、多样化的交互元素(例如攻击、施法),以及通过领航员和导演智能体实现的新型多智能体行为控制,还附带一个共享的多玩家界面。

Introducing GWM Worlds 2, a Playable World Model | Runway

Reddit r/singularity

Runway 发布了 GWM Worlds 2,这是一个可实时操控的交互式世界模型,支持 720p/24fps 视频和 48kHz 音频的实时生成,允许用户通过文本动作控制环境并接入智能体执行任务。