论文页面 - NAMVIS：面向下一尺度的自回归多视角图像合成

来源：https://huggingface.co/papers/2610.04722

摘要

稀疏视角新视角合成是 3D 内容创作中的核心问题，但基于扩散的方法受制于迭代去噪过程，导致多视角生成在推理时开销巨大。我们提出 NAMVIS，一个无需扩散的框架，将多视角图像合成重新表述为以几何为条件的下一尺度自回归过程。NAMVIS 不再通过反复去噪生成目标视角，而是通过少量由粗到精的尺度步骤预测离散视觉 token，并在每个尺度内以及跨目标视角之间并行采样所有 token。为了将这一生成过程锚定在显式的相机几何之上，我们提出了多尺度投影位姿编码（Multi-scale Projective Pose Encoding），在每个分辨率下将源视角与目标视角的相机变换同时注入目标视角的自注意力和源到目标的交叉注意力中。NAMVIS 进一步将全局条件化与密集的几何感知交叉注意力相结合，使模型在保持源视角外观的同时维持目标视角的一致性。在 Objaverse、GSO 和 OmniObject3D 上，NAMVIS 在 PSNR、SSIM 和 LPIPS 指标上均优于基于扩散的基线方法，并且在相同的评估设置下运行速度超过扩散基线的 3 倍。这些结果表明，以几何为条件的下一尺度自回归是一种高效且有潜力的稀疏视角多视角合成方案，可作为扩散方法的替代选择。更多定性结果、视频及资源请访问 https://corl-team.github.io/namvis/

[查看 arXiv 页面 (https://arxiv.org/abs/2610.04722)] [查看 PDF (https://arxiv.org/pdf/2610.04722)] [项目页面 (https://corl-team.github.io/namvis/)] GitHub [添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.04722)]

在你的 agent 中获取本论文：

hf papers read 2610.04722

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 1

smileyenot983/NAMVIS Image-to-Image • 约 2 小时前更新 • 2 (https://huggingface.co/smileyenot983/NAMVIS)

引用本论文的数据集 2

smileyenot983/objaversexl_sketchfab_pmap (https://huggingface.co/datasets/smileyenot983/objaversexl_sketchfab_pmap)

smileyenot983/objaversexl_github6.5_pmap (https://huggingface.co/datasets/smileyenot983/objaversexl_github6.5_pmap)

引用本论文的 Spaces 1

包含本论文的合集 0

暂无包含本论文的合集

[将本论文添加到合集 (https://huggingface.co/new-collection)]，即可从此页面链接到该合集。