CGGS: 一致性增强的几何高斯泼溅用于第一人称3D场景生成

Hugging Face Daily Papers 论文

摘要

CGGS是一个文本到3D的框架,通过使用一致性增强损失、布局装饰和基于熵的深度损失的几何细化等多阶段方法,提高了第一人称3D场景生成中的几何一致性和质量。

在第一人称3D场景生成中,由于视角重叠有限以及个体视角对场景解释的主导影响,仍然存在挑战。这些因素阻碍了生成视角一致且语义对齐的视觉内容,以及构建准确的几何结构。在本文中,我们提出CGGS,一个文本到3D的框架,旨在增强3D内容感知并解决第一人称场景生成中的几何畸变。首先,通过微调带有一致性增强损失的多视角潜在扩散模型,提出第一人称生成器,以生成与文本描述一致的高保真2D内容。然后,布局装饰器利用光流和点跟踪对应关系来估计深度,从而从第一人称2D先验中生成密集点云作为粗略布局。基于此初始化,提出几何细化器,通过基于熵的互信息深度损失(MID)结合分层优化方案来增强3D高斯重建,以改善视觉质量和几何结构。全面实验表明,\softred{CGGS}在生成连贯且准确的文本驱动3D场景方面优于先前方法。项目页面:https://cggs-26.github.io/cggs26/.
查看原文
查看缓存全文

缓存时间: 2026/07/08 06:48

论文页面 - CGGS:一致性增强的几何高斯泼溅用于自我中心三维场景生成

来源:https://huggingface.co/papers/2607.03819

摘要

CGGS是一种文本到三维框架,通过涉及自我中心生成、布局装饰和几何优化(Geometric Refinement)的多阶段方法,增强了三维内容感知并解决了几何畸变(Geometric Distortions)问题。

在自我中心三维场景生成中,由于视角重叠有限以及个体视角对场景解释的主导影响,仍然存在挑战。这些因素阻碍了视角一致和语义对齐的视觉内容的创建,以及精确几何结构的构建。在本文中,我们提出CGGS,一个旨在在自我中心场景生成中增强三维内容感知并解决几何畸变的文本到三维框架。首先,通过使用一致性增强损失(Consistency-Augmented Loss)微调多视角潜在扩散模型(Multi-View Latent Diffusion Model)来提出自我中心生成器(Ego-centric Generator),以生成与文本描述一致的高保真二维内容。然后,布局装饰器(Layout Decorator)利用光流(Optical Flow)和点轨迹对应(Point-Track Correspondence)来估计深度,从而从自我中心二维先验中生成稠密点云(Dense Point Clouds)作为粗略布局。在此初始化的基础上,提出几何优化器(Geometric Refiner),通过基于熵的互信息深度损失(Mutual Information Depth Loss,MID)结合层次优化方案(Hierarchical Optimization Scheme)来增强三维高斯重建(3D Gaussian Reconstruction),以提高视觉质量和几何结构。大量实验表明,\red{CGGS}在生成连贯且准确的文本驱动三维场景方面优于以往方法。项目页面:https://cggs-26.github.io/cggs26/。

查看arXiv页面 · 查看PDF · 项目页面 · GitHub6 · 添加到收藏

在你的代理中获取此论文:

hf papers read 2607.03819

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2607.03819以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2607.03819以从此页面链接。

引用此论文的空间0

没有空间链接此论文

在空间README.md中引用arxiv.org/abs/2607.03819以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集以从此页面链接。

相似文章

GlobalSplat: 通过全局场景标记实现高效的前馈式三维高斯散射

Hugging Face Daily Papers

GlobalSplat 引入了一种高效的前馈框架,用于三维高斯散射,通过全局场景标记实现紧凑且一致的场景重建,将计算开销和推理时间降低至78毫秒以下。该方法采用从粗到细的训练策略,防止表示膨胀,同时以显著更少的高斯原语(16K)达到有竞争力的新视角合成性能,与密集基线相比更为高效。

ZipSplat:更少的高斯,更优的 Splats

Hugging Face Daily Papers

ZipSplat 是一种基于 token 的前馈 3D 高斯溅射模型,利用 k-means 聚类将高斯放置与像素网格解耦,在无需真实位姿或内参的情况下,在 DL3DV 和 RealEstate10K 上实现了约 6 倍的高斯减少,同时设立了新的最佳结果。

FLAT: 面向几何精确场景生成的前馈潜在三角形溅射

Hugging Face Daily Papers

FLAT提出了一种方法,直接从视频扩散潜在表示中解码显式三角形溅射,用于几何精确的3D场景生成。它引入了以射线为中心的旋转参数化和乘积窗口函数来改善梯度流,实现了比先前前馈方法更好的几何精度,同时支持实时渲染。

Sat3DGen:基于单张卫星图像的全面街景级3D场景生成

Hugging Face Daily Papers

Sat3DGen采用几何优先的方法,从单张卫星图像生成街景级3D场景,通过新颖的约束条件和训练策略,提高了几何精度和照片级真实感。该方法在VIGOR-OOD基准测试上相比先前工作有显著改进。