ATSplat: 紧凑的前馈式3D高斯溅射与自适应Token扩展

Hugging Face Daily Papers 论文

摘要

ATSplat 提出了一种前馈式3D高斯溅射框架,利用自适应3D Token根据场景复杂度分配图元,在实现最先进渲染质量的同时,将高斯体数量相比密集方法减少了5.7倍以上。

3D高斯溅射(3DGS)通过在3D中优化自由放置的图元并在欠重建区域自适应地密集化它们,实现了高质量的新视角合成。然而,这种场景自适应的容量分配在现有的前馈3DGS方法中基本丢失了,这些方法通常回归输入像素处的高斯体并沿相机光线提升它们。这种像素对齐的公式使得图元的数量和放置依赖于图像分辨率和输入视角而非场景复杂度,导致密集且常常冗余的高斯体集合。我们提出ATSplat,一种前馈3DGS框架,通过自适应3D Token恢复了3DGS优化的自适应分配能力。ATSplat首先将粗略的块级深度和相机线索提升为稀疏的3D锚点Token,形成场景的紧凑骨架。然后,每个Token通过可学习的3D偏移回归为局部高斯体,将图元放置与输入图像网格解耦。自适应Token扩展模块预测Token级不确定度分数,由渲染误差图监督,并通过可学习的扩展层选择性扩展高不确定度的Token。这种稀疏到自适应的公式使ATSplat能够将图元集中在挑战性区域,同时保持紧凑表示。在两个代表性数据集RealEstate10K和DL3DV上的实验表明,ATSplat实现了最先进的渲染质量,同时将高斯体数量相比密集前馈3DGS方法减少了5.7倍以上。从12张512×960分辨率的输入图像,ATSplat在单块商用GPU上于不到一秒内完成重建,并以1136 FPS(512×960)渲染高质量新视角,仅需311K个高斯体。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:09

论文页面 - ATSplat: 基于自适应令牌扩展的紧凑型前馈式3D高斯泼溅

来源:https://huggingface.co/papers/2607.20417

摘要

3D高斯泼溅(3DGS)通过优化三维空间中自由放置的基元,并在重建不足的区域自适应地对其进行密集化,实现了高质量的新视角合成。然而,这种场景自适应的容量分配能力在现有前馈式3DGS方法中很大程度上丧失了,这些方法通常回归输入像素处的高斯函数,并沿着相机光线将其提升。这种像素对齐的公式使得基元的数量和位置依赖于图像分辨率和输入视点,而非场景复杂度,导致产生密集且通常冗余的高斯基元集。我们提出ATSplat,一种前馈式3DGS框架,通过自适应3D令牌恢复了3DGS优化的自适应分配能力。ATSplat首先将粗糙的块级深度和相机线索提升为稀疏的3D锚点令牌,形成场景的紧凑骨架。然后,每个令牌通过可学习的3D偏移回归为局部高斯函数,将基元放置与输入图像网格解耦。自适应令牌扩展模块预测令牌级别的不确定性分数,通过渲染误差图进行监督,并通过可学习的扩展层有选择地扩展高不确定性令牌。这种从稀疏到自适应的公式使ATSplat能够将基元集中在具有挑战性的区域,同时保持紧凑的表示。在RealEstate10K和DL3DV两个代表性数据集上的实验表明,ATSplat实现了最先进的渲染质量,同时与密集的前馈式3DGS方法相比,高斯函数数量减少了5.7倍以上。从12张512×960分辨率的输入图像开始,ATSplat使用单个商用GPU在不到一秒的时间内完成重建,并以1136 FPS(512×960)的速度渲染高质量的新视角,仅使用311K个高斯函数。

查看arXiv页面 (https://arxiv.org/abs/2607.20417)查看PDF (https://arxiv.org/pdf/2607.20417)项目页面 (https://join16.github.io/page-atsplat/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.20417)

在您的代理中获取此论文:

hf papers read 2607.20417

没有最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.20417 以从该页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.20417 以从该页面链接它。

引用此论文的Space0

没有Space链接此论文

在Space README.md 中引用 arxiv.org/abs/2607.20417 以从该页面链接它。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从该页面链接它。

相似文章

GlobalSplat: 通过全局场景标记实现高效的前馈式三维高斯散射

Hugging Face Daily Papers

GlobalSplat 引入了一种高效的前馈框架,用于三维高斯散射,通过全局场景标记实现紧凑且一致的场景重建,将计算开销和推理时间降低至78毫秒以下。该方法采用从粗到细的训练策略,防止表示膨胀,同时以显著更少的高斯原语(16K)达到有竞争力的新视角合成性能,与密集基线相比更为高效。

ZipSplat:更少的高斯,更优的 Splats

Hugging Face Daily Papers

ZipSplat 是一种基于 token 的前馈 3D 高斯溅射模型,利用 k-means 聚类将高斯放置与像素网格解耦,在无需真实位姿或内参的情况下,在 DL3DV 和 RealEstate10K 上实现了约 6 倍的高斯减少,同时设立了新的最佳结果。

高斯点溅射

Hacker News Top

研究人员提出了高斯点溅射(Gaussian Point Splatting),这是一种随机渲染方法,利用像素大小的不透明点和64位GPU原子操作,能够实时渲染数亿个高斯点。该方法已被SIGGRAPH 2026接收,采用层次化剔除与并行编程原语,实现均匀的工作负载分配,与原始高斯溅射相比仅存在轻微的噪声差异。

SplatWeaver:学习分配高斯基元以实现可泛化新视角合成

Hugging Face Daily Papers

SplatWeaver 是一种前馈新视角合成框架,它根据空间复杂度动态分配 3D 高斯基元,相比固定分配方法提升了渲染质量与效率。该框架利用基数高斯专家和高频先验引导的像素级路由方案,自适应地在复杂与平滑的场景区域间分配基元。