论文页面 - Luce：用于3D资产生成的可重光照高斯模型

来源：https://huggingface.co/papers/2608.23943

摘要

Luce 将几何结构与PBR材质统一表示在体素化的高斯云中，通过变分自编码器与整流流变换器，从单张图像生成可重新光照的3D资产。

高保真的图像到3D生成需要同时捕捉几何与外观的3D表示。为支持重新光照并集成到标准渲染管线中，该表示应包含基于物理的渲染（PBR）模态，如反照率、金属度-粗糙度和表面法线。我们提出Luce——一种将几何与PBR材质（https://huggingface.co/papers?q=PBR%20materials）统一在体素化多模态高斯云（https://huggingface.co/papers?q=voxelized%20multimodal%20Gaussian%20cloud）中的3D表示，为每种模态使用专用的高斯基元。变分自编码器（https://huggingface.co/papers?q=variational%20autoencoder）将此表示压缩到统一的材质感知潜空间。整流流变换器（https://huggingface.co/papers?q=rectified-flow%20transformer）根据预训练图像编码器的多层特征（https://huggingface.co/papers?q=multi-layer%20features）条件，从单张图像生成该潜空间表示，同时保留语义上下文和精细空间细节。该潜空间随后解码为可重新光照的PBR高斯模型，以及带有切线空间法线贴图（https://huggingface.co/papers?q=tangent-space%20normal%20map）的可选纹理网格。在Toys4K数据集上，Luce实现了最先进的单图转3D生成，将FID指标相较于最强基线提升28%。我们进一步引入了一个AI生成图像基准测试，其中Luce在CLIP图像对齐分数上超越最佳基线（0.8519 对比 0.8299）。Luce生成的资产具有可重光照、几何精确和材质保真的特性，并保留了文字、标识和铭文等精细细节。

查看arXiv页面 (https://arxiv.org/abs/2608.23943)
查看PDF (https://arxiv.org/pdf/2608.23943)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.23943)

在你的代理工具中获取本文：

hf papers read 2608\.23943

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型关联本文

在模型的 README.md 中引用 arxiv.org/abs/2608.23943，即可从本页链接至该模型。

引用本文的数据集 0

暂无数据集关联本文

在数据集的 README.md 中引用 arxiv.org/abs/2608.23943，即可从本页链接至该数据集。

引用本文的空间 0

暂无空间关联本文

在空间的 README.md 中引用 arxiv.org/abs/2608.23943，即可从本页链接至该空间。

包含本文的收藏 0

暂无收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection) 即可从本页链接至该收藏。