论文页面 - 面向视频世界模型的潜在空间记忆

来源：https://huggingface.co/papers/2606.09828

摘要

面向视频世界模型的潜在空间记忆将3D场景信息直接存储在扩散潜在空间中，消除了像素空间重建的开销，实现了更快的生成速度和更低的内存占用。

现有的视频世界模型（https://huggingface.co/papers?q=Video%20world%20models）为了在生成帧间保持3D空间一致性，通常依赖于在RGB空间（https://huggingface.co/papers?q=RGB%20space）中构建的显式点云记忆（https://huggingface.co/papers?q=point%20cloud%20memory）。这种设计不仅计算开销大（需要重复渲染和VAE编码），而且本质上是有损的，因为往返像素空间会丢弃学习到的潜在表示中的丰富特征。在本文中，我们引入了面向视频世界模型（https://huggingface.co/papers?q=video%20world%20models）的潜在空间记忆（https://huggingface.co/papers?q=latent%20spatial%20memory），它是一种持久化的3D缓存，将场景信息直接存储在扩散潜在空间（https://huggingface.co/papers?q=diffusion%20latent%20space）中，避免了像素空间重建。在此基础上，我们提出了Mirage，一个潜在空间记忆框架，它通过深度引导的反投影（https://huggingface.co/papers?q=depth-guided%20back-projection）将潜在token提升到3D来构建记忆，并通过直接潜在空间扭曲（https://huggingface.co/papers?q=latent-space%20warping）合成新视角来查询记忆。这种统一的公式消除了像素空间重建的信息损失，也避免了重复编码和渲染的计算负担。实验表明，与显式3D基线相比，潜在空间记忆（https://huggingface.co/papers?q=latent%20spatial%20memory）实现了高达10.57倍的端到端视频生成（https://huggingface.co/papers?q=end-to-end%20video%20generation）加速和55倍的内存占用（https://huggingface.co/papers?q=memory%20footprint）降低。利用扩散模型的几何先验，Mirage在WorldScore（https://huggingface.co/papers?q=WorldScore）上达到了最先进的性能，并在RealEstate10K（https://huggingface.co/papers?q=RealEstate10K）上展现了强大的重建质量。

查看arXiv页面（https://arxiv.org/abs/2606.09828）查看PDF（https://arxiv.org/pdf/2606.09828）项目页面（https://microsoft.github.io/LatentSpatialMemory/）GitHub14（https://github.com/microsoft/LatentSpatialMemory）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.09828）

在您的代理中获取此论文：

hf papers read 2606.09828

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型README.md中引用arxiv.org/abs/2606.09828，即可从本页链接到该模型。

引用此论文的数据集0

没有数据集链接到此论文

在数据集README.md中引用arxiv.org/abs/2606.09828，即可从本页链接到该数据集。

引用此论文的Space0

没有Space链接到此论文

在Space README.md中引用arxiv.org/abs/2606.09828，即可从本页链接到该Space。

包含此论文的收藏3