WorldDirector:构建具有持久动态内存的可控世界模拟器

Hugging Face Daily Papers 论文

摘要

WorldDirector 提出了一个可控视频世界模拟框架,该框架使用LLM协调3D轨迹和相机运动,将语义运动规划与视觉渲染解耦,实现持久对象内存和稳定外观,即使对象在重新进入场景后仍能保持。

我们提出WorldDirector,一个高度可控的视频世界模型框架,专为持久动态对象内存和无限制视角探索而设计。与现有将物理动态与像素渲染纠缠在一起并依赖连续视觉观察来维持运动的世界模型不同,我们的框架明确地将语义运动编排与视觉生成解耦。通过利用LLM协调3D轨迹与相机运动,随后将这些编排好的轨迹作为视频生成的控制信号,我们的方法确保了严格的物理逻辑和外观稳定性,成功保留了动态实体的精确视觉身份,即使它们长时间离开视野后重新进入场景。实验结果表明,我们的方法支持合成复杂和长时间的事件,具有前所未有的可控性和持久动态对象内存。项目页面:https://worlddirector.github.io/
查看原文
查看缓存全文

缓存时间: 2026/07/03 03:52

论文页面 - WorldDirector:构建具有持久动态内存的可控世界模拟器

来源:https://huggingface.co/papers/2607.02517 作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

WorldDirector 通过利用 LLM 协调 3D 轨迹与摄像机运动,将语义运动规划与视觉渲染解耦,从而实现具有持久对象内存的可控视频生成。

我们提出 WorldDirector,一个高度可控的视频世界模型框架,专为持久动态对象内存和无限制视点探索而设计。与现有将物理动力学与像素渲染纠缠在一起、并依赖连续视觉观察来维持运动的世界模型不同,我们的框架明确地将语义运动编排与视觉生成解耦。通过利用 LLM 协调 3D 轨迹与摄像机运动,随后将这些编排好的轨迹作为视频生成的控制信号,我们的方法确保了严格的物理逻辑和外观稳定性,成功保留了动态实体的精确视觉身份,即使它们在长时间离开视野后重新进入场景也是如此。实验结果表明,我们的方法支持合成复杂且长时间的事件,具有前所未有的可控性和持久动态对象内存。项目页面:https://worlddirector.github.io/

查看 arXiv 页面 (https://arxiv.org/abs/2607.02517) 查看 PDF (https://arxiv.org/pdf/2607.02517) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.02517)

在您的代理中获取此论文:

hf papers read 2607.02517

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.02517 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.02517 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.02517 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

用于视频世界模型的潜在空间记忆

Hugging Face Daily Papers

本文介绍了用于视频世界模型的潜在空间记忆,将3D场景信息直接存储在扩散潜在空间中,以避免昂贵的像素空间重建。所提出的Mirage框架实现了高达10.57倍的生成加速和55倍的内存缩减,同时在WorldScore和RealEstate10K上取得了最先进的性能。