任意时间,任意空间:以世界状态为中心的智能体视频生成框架

Hugging Face Daily Papers 论文

摘要

提出 Any Time, Any Space(ATAS)框架,将剧本编译为带有显式位置、相机和事件时间引用的镜头请求,通过场景记忆和事件记忆实现长时程智能体式视频生成的跨镜头时空一致性,在四种视频生成器上均提升了一致性指标,并取得最佳综合评分。

长篇智能体视频生成必须将剧本转化为镜头,并在非连续请求之间保持空间和时间上的一致性。在镜头之间传递提示词或最近的帧,并不能为重访场景提供共享的空间参照系,也无法为重现先前事件提供按时间索引的记录。我们提出 Any Time, Any Space(ATAS),它将剧本编译为带有明确位置、相机和事件时间参照的镜头请求。在生成之前,它从存储已配准静态几何的场景记忆,以及存储按场景、事件和时间索引的动态观测的事件记忆中,检索相关证据。在生成之后,ATAS 对视频片段进行重建和配准。只有当观测通过审查和状态检查时,它才会更新记忆,而影片交付独立于记忆是否接纳该观测。在四种视频生成器上,ATAS 提升了所有已报告的跨镜头一致性指标,并在每个骨干模型上取得了最高的基准综合得分。它还在基于目标图像的空间重访任务上优于参与比较的智能体和三维引导方法,在三项事件重现标准上领先,并在全部六项标准上获得了最高的人工评分。视频结果和代码可在我们的项目页面获取:https://lhmd.top/atas/。
查看原文
查看缓存全文

缓存时间: 2026/10/15 02:55

论文页面 - Any Time, Any Space:以世界状态为中心的智能体视频生成框架

来源:https://huggingface.co/papers/2610.20571

摘要

长篇智能体视频生成必须将剧本转化为镜头,并在非连续请求之间保持空间和时间上的一致性。在镜头之间传递提示词或最近的帧,无法为重访场景提供共享的空间参考系,也无法为重现先前事件提供按时间索引的记录。我们提出 AnyTime,AnySpace(ATAS),它将剧本编译为带有明确地点、相机和事件时间引用的镜头请求。在生成之前,它从包含已配准静态几何结构的场景记忆,以及包含按场景、事件和时间索引的动态观测的事件记忆中检索相关证据。在生成之后,ATAS 对片段进行重建和配准。只有当审查和状态检查接受该观测时,它才会更新记忆,而影片交付独立于记忆准入。在四种视频生成器上,ATAS 改善了所有已报告的跨镜头一致性指标,并在每种骨干模型上都取得了最高的基准综合得分。它在目标图像空间重访方面也优于所比较的智能体和 3D 引导方法,在三项事件重现标准上领先,并在全部六项标准上获得了最高的人工评分。视频结果和代码可在我们的项目页面获取:https://lhmd.top/atas/。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20571)查看 PDF (https://arxiv.org/pdf/2610.20571)项目页面 (https://lhmd.top/atas/)GitHub (https://github.com/ziplab/ATAS)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20571)

在你的智能体中获取这篇论文:

hf papers read 2610\.20571

还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.20571,即可从此页面关联该模型。

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.20571,即可从此页面关联该数据集。

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.20571,即可从此页面关联该 Space。

包含这篇论文的收藏集0

没有包含这篇论文的收藏集

将这篇论文添加到一个收藏集 (https://huggingface.co/new-collection),即可从此页面关联该收藏集。

相似文章

Video-Arena:一个面向时空能力的可扩展智能体视频基准

Hugging Face Daily Papers

Video-Arena 引入了一个可扩展的基准,将竞技类游戏转化为对视频中时空世界状态理解与跟踪能力的可验证测试,在原生与工具辅助的智能体协议下对模型进行评估,结果发现两种协议下的模型都难以随时间推移正确更新状态。

CausalAlign:面向一致自运动的视频生成模型因果对齐

Hugging Face Daily Papers

CausalAlign 论文提出一种因果对齐框架,通过将扩散视频生成模型的内部表征与 3D 基础模型在 delta-token 空间中对齐,改善长时程相机自运动的一致性,在几何一致性上提升超过 20%,并提升了具身操作任务中世界动作模型的成功率。

文本生成视频的时序规范指南

arXiv cs.AI

丰田研究院与宾夕法尼亚大学提出时序规格引导(TSG),一种免训练的推理时框架,将时序逻辑规格转化为可微目标,通过梯度引导注意力偏置来改善文本到视频模型对顺序、时序与持续性约束的遵循,在五个模型上比无分类器引导(CFG)提升9.5–20个百分点的规格满足率。