任意时间,任意空间:以世界状态为中心的智能体视频生成框架
摘要
提出 Any Time, Any Space(ATAS)框架,将剧本编译为带有显式位置、相机和事件时间引用的镜头请求,通过场景记忆和事件记忆实现长时程智能体式视频生成的跨镜头时空一致性,在四种视频生成器上均提升了一致性指标,并取得最佳综合评分。
查看缓存全文
缓存时间: 2026/10/15 02:55
论文页面 - Any Time, Any Space:以世界状态为中心的智能体视频生成框架
来源:https://huggingface.co/papers/2610.20571
摘要
长篇智能体视频生成必须将剧本转化为镜头,并在非连续请求之间保持空间和时间上的一致性。在镜头之间传递提示词或最近的帧,无法为重访场景提供共享的空间参考系,也无法为重现先前事件提供按时间索引的记录。我们提出 AnyTime,AnySpace(ATAS),它将剧本编译为带有明确地点、相机和事件时间引用的镜头请求。在生成之前,它从包含已配准静态几何结构的场景记忆,以及包含按场景、事件和时间索引的动态观测的事件记忆中检索相关证据。在生成之后,ATAS 对片段进行重建和配准。只有当审查和状态检查接受该观测时,它才会更新记忆,而影片交付独立于记忆准入。在四种视频生成器上,ATAS 改善了所有已报告的跨镜头一致性指标,并在每种骨干模型上都取得了最高的基准综合得分。它在目标图像空间重访方面也优于所比较的智能体和 3D 引导方法,在三项事件重现标准上领先,并在全部六项标准上获得了最高的人工评分。视频结果和代码可在我们的项目页面获取:https://lhmd.top/atas/。
查看 arXiv 页面 (https://arxiv.org/abs/2610.20571)查看 PDF (https://arxiv.org/pdf/2610.20571)项目页面 (https://lhmd.top/atas/)GitHub (https://github.com/ziplab/ATAS)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20571)
在你的智能体中获取这篇论文:
hf papers read 2610\.20571
还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
没有关联这篇论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2610.20571,即可从此页面关联该模型。
引用这篇论文的数据集0
没有关联这篇论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2610.20571,即可从此页面关联该数据集。
引用这篇论文的 Space0
没有关联这篇论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.20571,即可从此页面关联该 Space。
包含这篇论文的收藏集0
没有包含这篇论文的收藏集
将这篇论文添加到一个收藏集 (https://huggingface.co/new-collection),即可从此页面关联该收藏集。
相似文章
FrameMorrow:面向长时序视频生成的前瞻式未来引导帧选择方法
FrameMorrow 提出一种面向长时序视频生成的前瞻式帧选择方法,通过预测代表未来信息需求的紧凑 prospective tokens 来从历史中挑选相关帧,实现跨生成器的即插即用集成,并在五个基准、11 个生成模型上取得一致提升。
Video-Arena:一个面向时空能力的可扩展智能体视频基准
Video-Arena 引入了一个可扩展的基准,将竞技类游戏转化为对视频中时空世界状态理解与跟踪能力的可验证测试,在原生与工具辅助的智能体协议下对模型进行评估,结果发现两种协议下的模型都难以随时间推移正确更新状态。
CausalAlign:面向一致自运动的视频生成模型因果对齐
CausalAlign 论文提出一种因果对齐框架,通过将扩散视频生成模型的内部表征与 3D 基础模型在 delta-token 空间中对齐,改善长时程相机自运动的一致性,在几何一致性上提升超过 20%,并提升了具身操作任务中世界动作模型的成功率。
视频生成遇上智能体运行时:智能体化视频生成、智能体化世界建模与递归自我改进
一份探讨视频生成与智能体运行时交叉领域的报告,涵盖智能体化视频生成、智能体化世界建模,以及面向自主多镜头视频制作的递归自我改进。
文本生成视频的时序规范指南
丰田研究院与宾夕法尼亚大学提出时序规格引导(TSG),一种免训练的推理时框架,将时序逻辑规格转化为可微目标,通过梯度引导注意力偏置来改善文本到视频模型对顺序、时序与持续性约束的遵循,在五个模型上比无分类器引导(CFG)提升9.5–20个百分点的规格满足率。