WorldDirector:构建具有持久动态内存的可控世界模拟器
摘要
WorldDirector 提出了一个可控视频世界模拟框架,该框架使用LLM协调3D轨迹和相机运动,将语义运动规划与视觉渲染解耦,实现持久对象内存和稳定外观,即使对象在重新进入场景后仍能保持。
查看缓存全文
缓存时间: 2026/07/03 03:52
论文页面 - WorldDirector:构建具有持久动态内存的可控世界模拟器
来源:https://huggingface.co/papers/2607.02517 作者:
,
,
,
,
,
,
,
,
,
,
,
摘要
WorldDirector 通过利用 LLM 协调 3D 轨迹与摄像机运动,将语义运动规划与视觉渲染解耦,从而实现具有持久对象内存的可控视频生成。
我们提出 WorldDirector,一个高度可控的视频世界模型框架,专为持久动态对象内存和无限制视点探索而设计。与现有将物理动力学与像素渲染纠缠在一起、并依赖连续视觉观察来维持运动的世界模型不同,我们的框架明确地将语义运动编排与视觉生成解耦。通过利用 LLM 协调 3D 轨迹与摄像机运动,随后将这些编排好的轨迹作为视频生成的控制信号,我们的方法确保了严格的物理逻辑和外观稳定性,成功保留了动态实体的精确视觉身份,即使它们在长时间离开视野后重新进入场景也是如此。实验结果表明,我们的方法支持合成复杂且长时间的事件,具有前所未有的可控性和持久动态对象内存。项目页面:https://worlddirector.github.io/
查看 arXiv 页面 (https://arxiv.org/abs/2607.02517) 查看 PDF (https://arxiv.org/pdf/2607.02517) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.02517)
在您的代理中获取此论文:
hf papers read 2607.02517
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
没有模型链接到此论文
请在模型 README.md 中引用 arxiv.org/abs/2607.02517 以从此页面链接。
引用此论文的数据集0
没有数据集链接到此论文
请在数据集 README.md 中引用 arxiv.org/abs/2607.02517 以从此页面链接。
引用此论文的 Spaces0
没有 Space 链接到此论文
请在 Space README.md 中引用 arxiv.org/abs/2607.02517 以从此页面链接。
包含此论文的收藏集0
没有收藏集包含此论文
请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
ActWorld:从可探索到可交互的世界模型——基于动作感知记忆
ActWorld提出了一种分块自回归世界模型,具有层次化动作感知记忆,支持物体交互与导航,解决了现有交互世界模型中的数据和记忆瓶颈问题。
WorldCraft:从相机导航到交互式视频世界模型中的物体操控
WorldCraft扩展了交互式视频世界模型,通过专门的控制流水线,在保持相机导航能力的同时实现物体级别的轨迹控制。
WorldAct: 将单体3D世界激活为可交互的以对象为中心的场景
WorldAct是一个框架,利用多模态智能体和几何重建技术,将静态的3D生成环境转换为可编辑、可交互的以对象为中心的场景,支持对象级编辑和具身任务执行。
用于视频世界模型的潜在空间记忆
本文介绍了用于视频世界模型的潜在空间记忆,将3D场景信息直接存储在扩散潜在空间中,以避免昂贵的像素空间重建。所提出的Mirage框架实现了高达10.57倍的生成加速和55倍的内存缩减,同时在WorldScore和RealEstate10K上取得了最先进的性能。
SimWorlds:用于动态3D场景创作的多智能体系统
SimWorlds是一个多智能体框架,能够通过自然语言生成动态、可编辑的4D场景。它利用Blender特定的程序化知识以及规划-编码-审查工作流,性能优于先前基线。