论文页面 - AlayaVista：从全景状态到透视视频的流式世界建模

来源：https://huggingface.co/papers/2609.14462

摘要

AlayaVista 将全景场景演化与透视视频合成解耦，以实现高效、高保真的交互式世界建模，并得到了 MUGEN 数据集的支持。

交互式视频世界模型必须在相机运动下维持广泛的场景上下文，同时以低延迟生成高保真的观测结果。现有方法面临表征权衡：透视模型在局部视图上操作，必须在长序列中保留屏幕外内容；而更广的空间覆盖范围通常通过合成全球面视频或构建显式3D表征来实现。受视觉感知中全局上下文与选择性局部敏锐度互补作用的启发，我们提出了 AlayaVista，一个相机可控的流式视频世界模型，它将全景世界演化与透视观测合成解耦。给定单张透视图像，AlayaVista 使用预训练的全景扩展模型构建360度场景先验，然后将场景演化为相机条件下的全景潜状态。潜视角渲染器将该状态映射到请求的透视视频潜变量，同时透视细化器恢复细节、抑制伪影并执行超分辨率。为支持高效流式处理，我们将全景生成器适配为分块自回归生成，并将全景生成和透视细化蒸馏为少步骤过程。为提供此设计所需的监督，我们构建了 MUGEN，一个大规模真实世界全景视频数据集，包含1,318小时分辨率至少为4K的视频，并附有丰富的语义和几何标注。

查看 arXiv 页面 (https://arxiv.org/abs/2609.14462)查看 PDF (https://arxiv.org/pdf/2609.14462)项目页面 (https://alaya-lab.github.io/AlayaVista/)GitHub15 (https://github.com/AlayaLab/AlayaVista)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.14462)

通过您的代理获取本文：

hf papers read 2609\.14462

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接本文

在模型的 README.md 中引用 arxiv.org/abs/2609.14462，以将其链接到此页面。

引用本文的数据集 0

没有数据集链接本文

在数据集的 README.md 中引用 arxiv.org/abs/2609.14462，以将其链接到此页面。

引用本文的空间 0

没有空间链接本文

在空间的 README.md 中引用 arxiv.org/abs/2609.14462，以将其链接到此页面。

包含本文的收藏 0

没有收藏包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection)以将其链接到此页面。