论文页面 - LEGO：一种从外部视角到第一人称视角视频生成的免提升方法

来源：https://huggingface.co/papers/2610.12442

摘要

从单个外部视角录制生成第一人称视角视频是新视角合成中的一项极具挑战性的任务，因为两个相机之间的重叠区域很小，目标视角中的大部分内容从未被观测到。当前最先进的方法通过估计深度、将视频提升为点云、再从第一人称相机重新渲染以作为视频扩散模型的条件来显式地重建场景。这种确定性映射将每个像素分配到单一的重投影位置，虽然保留了纹理，但却会将深度误差转化为错位的内容。我们思考视频扩散模型究竟应该接收什么作为条件，并提出了一种免提升的解决方案：一个学习得到的视角合成器——一种 LVSM 风格的 Transformer，经过微调后可以直接渲染第一人称视角，无需深度估计、点云或重投影，而是在内部解决跨视角对应关系。与之相对的是，该合成器的概率映射根据学习到的对应分布，将每个区域在多个候选源位置上进行加权平均，从而在保留结构的同时将精细纹理平滑掉。我们认为这种权衡非常适合扩散生成器——扩散模型的去噪训练擅长恢复细节，因此有效的条件应该优先保证结构对齐而非锐利度。该分布的集中程度还为每个区域产生了一个置信度，既用于遮罩低置信度区域，也在早期形成布局的去噪步骤中引导生成器关注高置信度区域。我们的方法持续优于最先进的显式管线，并且无需重新训练即可泛化到其他数据集。因此，合成器提供视角结构，而扩散模型补充细节。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12442) 查看 PDF (https://arxiv.org/pdf/2610.12442) 项目主页 (https://suhwan-cho.github.io/LEGO/) GitHub (https://github.com/suhwan-cho/LEGO) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.12442)

引用此论文的模型 1

suhwan-cho/lego 更新于约 1 小时前 • 1 (https://huggingface.co/suhwan-cho/lego)

引用此论文的数据集 0

没有关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.12442 即可从此页面链接它。

引用此论文的 Spaces 1

包含此论文的收藏夹 0

没有包含此论文的收藏夹

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接它。