Multi4D: 通过多级竞争分配实现高保真动态高斯泼溅

Hugging Face Daily Papers 论文

摘要

Multi4D 提出了一种用于动态三维高斯泼溅的多级竞争分配框架,它平衡了运动一致性与视觉保真度,实现了最先进的渲染质量和实时性能。

动态三维高斯泼溅面临运动一致性与视觉保真度之间的根本矛盾。基于形变的方法保留了时间对应关系,但受到运动过度分解的困扰,过度平滑了高频动态。相比之下,4D基元方法捕获了精细的视觉细节,但导致了时间上的过参数化,破坏了物体一致性,并导致严重的存储开销。为解决这一问题,我们提出了 Multi4D,这是一个基于多级竞争分配的高保真动态高斯泼溅框架。与单一表示不同,我们将建模能力分布在三个结构化层级上:静态结构、持久动态几何和瞬态外观基元。通过共享光栅化和残差驱动优化,这些层级动态竞争以解释光度误差,从而在无需预先指定分解的情况下实现自适应特化。这种分配方式在捕获精细动态细节的同时保持了长期运动一致性,以显著更少的动态基元实现了最先进的渲染质量和实时性能。此外,由于我们的表示方法随时间显式跟踪紧凑的持久高斯体,后续可嵌入语义特征,使 Multi4D 以数量级的速度提升实现了最先进的4D分割精度。项目页面:https://batfacewayne.github.io/Multi4D.io/
查看原文
查看缓存全文

缓存时间: 2026/06/24 17:49

论文页面 - Multi4D: 多级竞争分配实现高保真动态高斯泼溅

来源:https://huggingface.co/papers/2606.22197 发布于6月20日

·

提交者 https://huggingface.co/BatofGo

Ray (https://huggingface.co/BatofGo) 于6月24日

摘要

Multi4D 通过一个多级竞争分配框架,解决了动态3D高斯泼溅中运动一致性与视觉保真度之间的权衡问题,实现了自适应特化与高效表示。

动态3D高斯泼溅 (https://huggingface.co/papers?q=Dynamic%203D%20Gaussian%20splatting) 面临运动一致性 (https://huggingface.co/papers?q=motion%20consistency) 与视觉保真度 (https://huggingface.co/papers?q=visual%20fidelity) 之间的根本性矛盾。基于形变的方法 (https://huggingface.co/papers?q=Deformation-based%20approaches) 保留了时间对应关系 (https://huggingface.co/papers?q=temporal%20correspondence),但会因运动过度分解 (https://huggingface.co/papers?q=motion%20over-factorization) 而过度平滑 (https://huggingface.co/papers?q=oversmoothing) 高频动态。相比之下,4D基元方法 (https://huggingface.co/papers?q=4D-primitive%20methods) 能捕捉精细的视觉细节,却导致时间过参数化 (https://huggingface.co/papers?q=temporal%20overparameterization),破坏物体身份 (https://huggingface.co/papers?q=object%20identity) 并产生严重的存储开销 (https://huggingface.co/papers?q=storage%20overhead)。为解决这一问题,我们提出 Multi4D——一个基于多级竞争分配 (https://huggingface.co/papers?q=multi-level%20competitive%20allocation) 的高保真动态高斯泼溅框架。我们不再使用单一表示,而是将建模能力分布在三个结构化层次上:静态结构 (https://huggingface.co/papers?q=static%20structure)、持久动态几何体 (https://huggingface.co/papers?q=persistent%20dynamic%20geometry) 和瞬态外观基元 (https://huggingface.co/papers?q=transient%20appearance%20primitives)。通过共享光栅化 (https://huggingface.co/papers?q=rasterization) 与残差驱动优化 (https://huggingface.co/papers?q=residual-driven%20optimization),这些层次动态竞争以解释光度误差 (https://huggingface.co/papers?q=photometric%20error),从而无需预分配分解即可实现自适应特化 (https://huggingface.co/papers?q=adaptive%20specialization)。这种分配方式在捕捉精细动态细节的同时保持了长期运动一致性 (https://huggingface.co/papers?q=motion%20consistency),以显著更少的动态基元实现了最先进的渲染质量 (https://huggingface.co/papers?q=state-of-the-art%20rendering%20quality) 与实时性能 (https://huggingface.co/papers?q=real-time%20performance)。此外,由于我们的表示能随时间显式跟踪紧凑的持久高斯体,语义特征可以事后嵌入,使 Multi4D 在 4D 分割精度 (https://huggingface.co/papers?q=4D%20segmentation%20accuracy) 上达到最先进水平,同时实现一个数量级的加速。项目页面:https://batfacewayne.github.io/Multi4D.io/

查看 arXiv 页面 (https://arxiv.org/abs/2606.22197) | 查看 PDF (https://arxiv.org/pdf/2606.22197) | 项目页面 (https://batfacewayne.github.io/Multi4D.io/) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.22197)

在您的代理中获取此论文:

hf papers read 2606.22197

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.22197 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.22197 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.22197 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

Mobile-4DGS:统一的静态-动态实时移动端高斯溅射

Hugging Face Daily Papers

Mobile-4DGS 提出了一个统一的轻量级框架,在资源受限的移动设备上实现高保真、实时的静态与动态高斯溅射渲染。该方法通过压缩外观建模、多视角致密化与剪枝,以及紧凑的显式 4D 表示(含静态-动态划分与深度顺序复用),显著降低了存储和渲染开销,同时保持了有竞争力的视觉质量。

在Julia中实现更好的高斯溅射

Hacker News Top

GaussianSplatting.jl 2.0版本通过KernelAbstractions.jl带来了多GPU后端支持、多线程UI、MCMC致密化策略,以及用于更好3D重建的深度/几何监督。

GlobalSplat: 通过全局场景标记实现高效的前馈式三维高斯散射

Hugging Face Daily Papers

GlobalSplat 引入了一种高效的前馈框架,用于三维高斯散射,通过全局场景标记实现紧凑且一致的场景重建,将计算开销和推理时间降低至78毫秒以下。该方法采用从粗到细的训练策略,防止表示膨胀,同时以显著更少的高斯原语(16K)达到有竞争力的新视角合成性能,与密集基线相比更为高效。

CompactSplat:用于前馈场景重建的空间自适应高斯分布

Hugging Face Daily Papers

CompactSplat 是一种前馈框架,通过纹理引导的空间划分和分层采样来自适应地分配三维高斯,在稀疏视角场景重建中提升几何与纹理的恢复效果,同时支持无需重新训练的动态稀疏度控制。