Multi4D: 通过多级竞争分配实现高保真动态高斯泼溅

Hugging Face Daily Papers 论文

摘要

Multi4D 提出了一种用于动态三维高斯泼溅的多级竞争分配框架,它平衡了运动一致性与视觉保真度,实现了最先进的渲染质量和实时性能。

动态三维高斯泼溅面临运动一致性与视觉保真度之间的根本矛盾。基于形变的方法保留了时间对应关系,但受到运动过度分解的困扰,过度平滑了高频动态。相比之下,4D基元方法捕获了精细的视觉细节,但导致了时间上的过参数化,破坏了物体一致性,并导致严重的存储开销。为解决这一问题,我们提出了 Multi4D,这是一个基于多级竞争分配的高保真动态高斯泼溅框架。与单一表示不同,我们将建模能力分布在三个结构化层级上:静态结构、持久动态几何和瞬态外观基元。通过共享光栅化和残差驱动优化,这些层级动态竞争以解释光度误差,从而在无需预先指定分解的情况下实现自适应特化。这种分配方式在捕获精细动态细节的同时保持了长期运动一致性,以显著更少的动态基元实现了最先进的渲染质量和实时性能。此外,由于我们的表示方法随时间显式跟踪紧凑的持久高斯体,后续可嵌入语义特征,使 Multi4D 以数量级的速度提升实现了最先进的4D分割精度。项目页面:https://batfacewayne.github.io/Multi4D.io/
查看原文
查看缓存全文

缓存时间: 2026/06/24 17:49

论文页面 - Multi4D: 多级竞争分配实现高保真动态高斯泼溅

来源:https://huggingface.co/papers/2606.22197 发布于6月20日

·

提交者 https://huggingface.co/BatofGo

Ray (https://huggingface.co/BatofGo) 于6月24日

摘要

Multi4D 通过一个多级竞争分配框架,解决了动态3D高斯泼溅中运动一致性与视觉保真度之间的权衡问题,实现了自适应特化与高效表示。

动态3D高斯泼溅 (https://huggingface.co/papers?q=Dynamic%203D%20Gaussian%20splatting) 面临运动一致性 (https://huggingface.co/papers?q=motion%20consistency) 与视觉保真度 (https://huggingface.co/papers?q=visual%20fidelity) 之间的根本性矛盾。基于形变的方法 (https://huggingface.co/papers?q=Deformation-based%20approaches) 保留了时间对应关系 (https://huggingface.co/papers?q=temporal%20correspondence),但会因运动过度分解 (https://huggingface.co/papers?q=motion%20over-factorization) 而过度平滑 (https://huggingface.co/papers?q=oversmoothing) 高频动态。相比之下,4D基元方法 (https://huggingface.co/papers?q=4D-primitive%20methods) 能捕捉精细的视觉细节,却导致时间过参数化 (https://huggingface.co/papers?q=temporal%20overparameterization),破坏物体身份 (https://huggingface.co/papers?q=object%20identity) 并产生严重的存储开销 (https://huggingface.co/papers?q=storage%20overhead)。为解决这一问题,我们提出 Multi4D——一个基于多级竞争分配 (https://huggingface.co/papers?q=multi-level%20competitive%20allocation) 的高保真动态高斯泼溅框架。我们不再使用单一表示,而是将建模能力分布在三个结构化层次上:静态结构 (https://huggingface.co/papers?q=static%20structure)、持久动态几何体 (https://huggingface.co/papers?q=persistent%20dynamic%20geometry) 和瞬态外观基元 (https://huggingface.co/papers?q=transient%20appearance%20primitives)。通过共享光栅化 (https://huggingface.co/papers?q=rasterization) 与残差驱动优化 (https://huggingface.co/papers?q=residual-driven%20optimization),这些层次动态竞争以解释光度误差 (https://huggingface.co/papers?q=photometric%20error),从而无需预分配分解即可实现自适应特化 (https://huggingface.co/papers?q=adaptive%20specialization)。这种分配方式在捕捉精细动态细节的同时保持了长期运动一致性 (https://huggingface.co/papers?q=motion%20consistency),以显著更少的动态基元实现了最先进的渲染质量 (https://huggingface.co/papers?q=state-of-the-art%20rendering%20quality) 与实时性能 (https://huggingface.co/papers?q=real-time%20performance)。此外,由于我们的表示能随时间显式跟踪紧凑的持久高斯体,语义特征可以事后嵌入,使 Multi4D 在 4D 分割精度 (https://huggingface.co/papers?q=4D%20segmentation%20accuracy) 上达到最先进水平,同时实现一个数量级的加速。项目页面:https://batfacewayne.github.io/Multi4D.io/

查看 arXiv 页面 (https://arxiv.org/abs/2606.22197) | 查看 PDF (https://arxiv.org/pdf/2606.22197) | 项目页面 (https://batfacewayne.github.io/Multi4D.io/) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.22197)

在您的代理中获取此论文:

hf papers read 2606.22197

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.22197 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.22197 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.22197 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

GlobalSplat: 通过全局场景标记实现高效的前馈式三维高斯散射

Hugging Face Daily Papers

GlobalSplat 引入了一种高效的前馈框架,用于三维高斯散射,通过全局场景标记实现紧凑且一致的场景重建,将计算开销和推理时间降低至78毫秒以下。该方法采用从粗到细的训练策略,防止表示膨胀,同时以显著更少的高斯原语(16K)达到有竞争力的新视角合成性能,与密集基线相比更为高效。

高斯点溅射

Hacker News Top

研究人员提出了高斯点溅射(Gaussian Point Splatting),这是一种随机渲染方法,利用像素大小的不透明点和64位GPU原子操作,能够实时渲染数亿个高斯点。该方法已被SIGGRAPH 2026接收,采用层次化剔除与并行编程原语,实现均匀的工作负载分配,与原始高斯溅射相比仅存在轻微的噪声差异。

从实况画面重建不同视角

Reddit r/singularity

4D Gaussian Splatting 是一种将平面2D图像转换为三维空间数据的技术,能够从实况画面重建不同视角。

ZipSplat:更少的高斯,更优的 Splats

Hugging Face Daily Papers

ZipSplat 是一种基于 token 的前馈 3D 高斯溅射模型,利用 k-means 聚类将高斯放置与像素网格解耦,在无需真实位姿或内参的情况下,在 DL3DV 和 RealEstate10K 上实现了约 6 倍的高斯减少,同时设立了新的最佳结果。

SplatWeaver:学习分配高斯基元以实现可泛化新视角合成

Hugging Face Daily Papers

SplatWeaver 是一种前馈新视角合成框架,它根据空间复杂度动态分配 3D 高斯基元,相比固定分配方法提升了渲染质量与效率。该框架利用基数高斯专家和高频先验引导的像素级路由方案,自适应地在复杂与平滑的场景区域间分配基元。