面向移动端3D高斯溅射的蒙特卡洛能量聚合

Hugging Face Daily Papers 论文

摘要

Flux-GS通过高效光照表示、属性条件增强和多视图稠密化策略,在移动平台上实现了实时高保真3D高斯溅射。

近年来,3D高斯溅射在新视图合成方面取得了前所未有的成功。然而,由高阶球谐函数(SH)带来的大量推理和存储开销是移动平台的主要瓶颈。在本文中,我们提出了Flux-GS,一种专为资源受限移动平台设计的实时高斯溅射方法,能够以大幅降低的开销实现高保真渲染。我们首先提出了一种蒙特卡洛镜面能量聚合器,对三阶辐射残差进行采样,并将镜面能量聚合成一个紧凑的潜在空间。通过这种方式,我们的方法有效地在低阶波段保留了视觉上显著的光照特征,而无需昂贵的蒸馏或预训练。为了弥补压缩过程中丢失的高频细节,我们引入了一个属性条件化SH增强模块。该模块基于内在高斯属性预测高斯感知偏移,从而在推理前增强一阶SH表示,且不增加额外推理成本。此外,原始的单视图基于梯度的稠密化容易产生过多高斯点并过度拟合某一视图。我们通过提出一种多视图基于Alpha的稠密化与剪枝策略来解决这些限制。通过利用多视图指导,我们确保了多视图结构一致性以及冗余基元的精确移除。大量实验表明,Flux-GS在保持有竞争力的视觉质量的同时实现了显著的参数减少,为实时移动渲染提供了鲁棒且可扩展的解决方案。代码:magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.
查看原文
查看缓存全文

缓存时间: 2026/06/30 03:33

论文页面 - 面向移动端3D高斯溅射的蒙特卡洛能量聚合方法

来源:https://huggingface.co/papers/2606.30017 发布于6月29日

·

由https://huggingface.co/xiaobiaodu

杜(https://huggingface.co/xiaobiaodu)提交于6月30日

摘要

Flux-GS 通过高效的照明表示、属性条件增强和多视图稠密化策略,在移动平台上实现了实时高保真3D高斯溅射。

近期3D高斯溅射(https://huggingface.co/papers?q=Gaussian%20Splatting)在新视图合成领域取得了前所未有的成功。然而,高阶球谐函数(https://huggingface.co/papers?q=Spherical%20Harmonics)(SH)带来的巨大推理和存储开销是移动平台(https://huggingface.co/papers?q=mobile%20platforms)的主要瓶颈。本文提出 Flux-GS,一种专为资源受限的移动平台(https://huggingface.co/papers?q=mobile%20platforms)设计的实时高斯溅射(https://huggingface.co/papers?q=Gaussian%20Splatting)方法,能够在显著降低开销的同时实现高保真渲染。我们首先提出蒙特卡洛镜面能量聚合器(https://huggingface.co/papers?q=Monte%20Carlo%20Specular%20Energy%20Aggregator),对三阶辐射残差进行采样,并将镜面能量聚合到紧凑的潜在空间(https://huggingface.co/papers?q=latent%20space)中。通过这种方式,我们的方法能够在无需昂贵的蒸馏或预训练的情况下,有效保留低阶频段中视觉显著的照明特征。为了缓解压缩过程中丢失的高频细节,我们引入了属性条件球谐增强(https://huggingface.co/papers?q=Attribute-Conditioned%20SH%20Enhancement)模块。该模块基于高斯内在属性预测高斯感知偏移,在推理前增强一阶球谐表示,且不增加额外推理成本。此外,原有的单视图梯度稠密化容易产生过多高斯体并对特定视图过拟合。我们通过提出多视图Alpha稠密化与剪枝(https://huggingface.co/papers?q=Pruning)策略来解决这些局限性。利用多视图指导,我们确保了多视图结构一致性以及冗余基元的精确移除。大量实验表明,Flux-GS 在保持竞争性视觉质量的同时实现了显著的参数缩减,为实时移动渲染提供了稳健且可扩展的解决方案。代码:magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}\。

查看 arXiv 页面(https://arxiv.org/abs/2606.30017)查看 PDF(https://arxiv.org/pdf/2606.30017)项目页面(https://xiaobiaodu.github.io/flux-gs-project/)GitHub0(https://github.com/xiaobiaodu/Flux-GS)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.30017)

在你的代理中获取此论文:

hf papers read 2606\.30017

没有最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

无模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2606.30017,以从此页面链接。

引用本论文的数据集0

无数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.30017,以从此页面链接。

引用本论文的Spaces0

无Space链接本论文

请在Space README.md 中引用 arxiv.org/abs/2606.30017,以从此页面链接。

包含本论文的收藏集0

无收藏集包含本论文

请将此论文添加到收藏集(https://huggingface.co/new-collection)中,以从此页面链接。

相似文章

GlobalSplat: 通过全局场景标记实现高效的前馈式三维高斯散射

Hugging Face Daily Papers

GlobalSplat 引入了一种高效的前馈框架,用于三维高斯散射,通过全局场景标记实现紧凑且一致的场景重建,将计算开销和推理时间降低至78毫秒以下。该方法采用从粗到细的训练策略,防止表示膨胀,同时以显著更少的高斯原语(16K)达到有竞争力的新视角合成性能,与密集基线相比更为高效。

FLUX3D: 基于扩散对齐稀疏表示的高保真3D高斯生成

Hugging Face Daily Papers

FLUX3D引入了一个框架,通过利用扩散对齐的结构化潜变量和稀疏结构感知的扩散变压器来增强表示学习和跨模态对齐,实现高保真图像到3D高斯泼溅生成,取得了最先进的结果。

ZipSplat:更少的高斯,更优的 Splats

Hugging Face Daily Papers

ZipSplat 是一种基于 token 的前馈 3D 高斯溅射模型,利用 k-means 聚类将高斯放置与像素网格解耦,在无需真实位姿或内参的情况下,在 DL3DV 和 RealEstate10K 上实现了约 6 倍的高斯减少,同时设立了新的最佳结果。