论文页面 - RealMe：从少量捕捉数据生成沉浸式体积视频

来源：https://huggingface.co/papers/2610.30023

摘要

RealMe 利用带有布局感知注意力和频域隐空间监督的视频扩散模型，将稀疏的低分辨率多视角捕捉数据增强为高分辨率、4D 一致的视频，实现体积重建。

本文研究了如何从稀疏且低分辨率的捕捉资源中创建沉浸式体积视频。传统的稠密多视角重建方法可以生成高质量的体积视频，但其依赖昂贵的捕捉设备，难以在实际场景中应用。近期的方法使用生成模型来降低捕捉要求，但仍受限于分辨率不足和 4D 不一致的问题。为克服这些限制，我们提出了 RealMe——一个以高分辨率视频扩散模型为核心的统一框架，能够将有限的捕捉数据增强为高分辨率（2K）、4D 一致的视频，用于体积视频重建。具体而言，RealMe 从捕捉视频中构建辅助数据，并将其与布局感知的位置编码一起编码为隐变量。视频扩散模型将分解式时空注意力适配至多视角捕捉布局，在不同视角和时间维度上对隐变量去噪，并将其解码为增强后的视频以优化 4D 表示。这一适配使模型能够捕捉时间动态和多视角关系，从而生成更具 4D 一致性的结果。为缩小生成视频与真实捕捉数据之间的差距，我们采用了隐空间频域损失，在隐空间中提供频域监督。在公开的 DNA-Rendering 基准和我们自采集的 RealVV 数据集上的大量实验表明，RealMe 能够创建沉浸式体积视频，并在视觉保真度和 4D 一致性方面优于最先进方法。

查看 arXiv 页面 (https://arxiv.org/abs/2610.30023)　查看 PDF (https://arxiv.org/pdf/2610.30023)　项目页面 (https://zju3dv.github.io/realme/)　GitHub2 (https://github.com/zju3dv/RealMe)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.30023)

在你的 agent 中获取本文：

hf papers read 2610\.30023

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型关联本文

在模型的 README.md 中引用 arxiv.org/abs/2610.30023 即可从此页面链接。

引用本文的数据集 0

暂无数据集关联本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.30023 即可从此页面链接。

引用本文的 Spaces 0

暂无 Space 关联本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.30023 即可从此页面链接。

包含本文的收藏集 0

暂无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。