仅凭几张照片生成完整3D场景通常意味着对盲区进行幻觉推断或导致内存爆炸。SPAR3S巧妙规避了这一问题：稀疏自回归建模能高效填充未观测体素，且无需3D真实数据监督 🧩 📄 https://arxiv.org/abs/2609.03931v1…

基于多视图图像的稀疏自回归场景生成建模

来源：https://arxiv.org/abs/2609.03931v1 查看PDF (https://arxiv.org/pdf/2609.03931v1)

摘要：从稀疏无约束视图生成完整3D场景是三维视觉领域的基础性挑战，这需要超越观测内容进行推理，同时保持计算可行性。现有的前馈重建方法本质上局限于输入图像中可见的内容，而3D生成建模则受限于密集体素表征的高昂计算成本以及大规模3D监督数据的稀缺性。我们提出SPAR3S——一种稀疏体素对齐的3D潜在生成模型，用于条件场景补全，无需真实3D数据作为监督。核心思想是在结构化的紧凑体素对齐3D潜在空间中构建3D场景生成框架，该空间仅表征被占据的体素。我们通过可微分3D高斯溅射的光度监督，直接从多视图图像中学习这一稀疏潜在空间。基于从稀疏输入视图编码的部分观测体素集，场景补全任务转化为在体素网格中预测缺失的潜在令牌及其空间分布。为此，我们训练了一个掩码自回归Transformer，联合建模体素占据状态与潜在令牌值，从而实现未观测区域的高效且空间一致的生成。我们在合成室内场景上验证了该方法的有效性，其新视角质量优于现有工作。进一步在RealEstate10k数据集上的泛化能力验证，凸显了其在现实世界数据中的应用价值。

提交历史

作者：Thomas Lucas [查看邮箱 (https://arxiv.org/show-email/33b8a700/2609.03931)] [版本1] 2026年9月3日 星期四 14:41:34 UTC (20,908 KB)