无需多视角生成的跨视角一致三维高斯头部头像

Hugging Face Daily Papers 论文
3d-gaussian head-avatar multi-view-consistency state-space-model mamba single-shot 3d-generation

摘要

MVCHead 是一种新颖的方法，仅从单张二维图像生成三维高斯头部头像，无需多视角数据，利用分层状态空间模型和跨视角一致性约束。

高保真三维高斯头部头像生成对于增强现实/虚拟现实、远程呈现和数字人类等应用至关重要。现有方法依赖于多视角数据集、三维捕捉或中间二维视图合成。相比之下，我们仅从随机采样的二维图像中学习条件和非条件三维头部模型，无需多视角数据、三维监督或中间视图生成。我们提出 MVCHead，这是一种单次状态空间模型，直接在三维表示中强制执行跨视角一致性（MVC），同时在这些约束下回归三维高斯。其核心是，我们提出了一种分层状态空间（HiSS）块，该块从粗到细逐步细化高斯，同时捕获长程依赖。在每个 HiSS 块中，我们修改了 Mamba 的标准单向扫描，提出了分层双向状态扫描（HiBiSS），该扫描将递归与跨视角不一致性最强的轴对齐。最后，我们设计了一个 SE(3) 多视角评判器，用于判断一组自渲染结果是否来自同一个底层三维配置，在不观察真实多视角对的情况下奖励跨视角像素对齐。MVCHead 实现了最先进的感知质量，在纹理和几何一致性方面超越了先前方法，并保持了相当的形状一致性。为展示可扩展性，我们发布了 FaceGS-10K，这是首个用于训练和评估三维头部模型的大规模即用型三维高斯头部资产数据集。项目页面与代码：https://humansensinglab.github.io/MVCHead/
查看原文
查看缓存全文

缓存时间: 2026/05/29 15:02

论文页面 - 无需多视图生成的多视图一致3D高斯头像

来源：https://huggingface.co/papers/2605.25220

摘要

一种名为MVCHead的新型单次3D高斯头像生成方法，利用层次化状态空间模型和多视图一致性约束，从2D图像创建高保真3D资产，无需多视图数据或3D监督。

高保真3D高斯头像（https://huggingface.co/papers?q=3D%20Gaussian%20head%20avatar）生成对于AR/VR、远程临场和数字人等应用至关重要。现有方法依赖于多视图数据（https://huggingface.co/papers?q=multi-view%20data）集、3D捕捉或中间2D视图合成。相比之下，我们仅从随机采样的2D图像（https://huggingface.co/papers?q=2D%20images）中学习条件性和无条件性3D头部模型（https://huggingface.co/papers?q=3D%20head%20models），不使用多视图数据（https://huggingface.co/papers?q=multi-view%20data）、3D监督（https://huggingface.co/papers?q=3D%20supervision）或中间视图生成。我们引入了MVCHead，这是一个单次状态空间模型（https://huggingface.co/papers?q=state%20space%20model），在3D表示（https://huggingface.co/papers?q=3D%20representation）中直接强制执行多视图一致性（https://huggingface.co/papers?q=multi-view%20consistency）（MVC），同时在这些约束下回归3D高斯（https://huggingface.co/papers?q=3D%20Gaussian）。其核心是，我们提出了一个层次化状态空间（https://huggingface.co/papers?q=Hierarchical%20State%20Space）（HiSS）模块，该模块从粗到细逐步细化高斯，同时捕捉长程依赖关系。在每个HiSS模块（https://huggingface.co/papers?q=HiSS%20block）内，我们将Mamba（https://huggingface.co/papers?q=Mamba）的标准单向扫描修改为提出的层次化双向状态扫描（https://huggingface.co/papers?q=Hierarchical%20Bi-directional%20State%20Scan）（HiBiSS），该扫描将循环性与多视图不一致性最强的坐标轴对齐。最后，我们设计了一个SE(3)多视图评判器（https://huggingface.co/papers?q=SE(3)%20Multi-view%20Critic），用于判断一组自渲染（https://huggingface.co/papers?q=self-renders）是否源自单个底层3D配置，奖励跨视图像素对齐，而无需观察真实的多视图对。MVCHead达到了最先进的感知质量，在纹理和几何一致性上均超越先前方法，并保持可比的形状一致性。为了展示可扩展性，我们发布了FaceGS-10K，这是第一个用于训练和评估3D头部模型（https://huggingface.co/papers?q=3D%20head%20models）的大规模即刻可用的3D高斯（https://huggingface.co/papers?q=3D%20Gaussian）头部资产数据集。项目页面和代码：https://humansensinglab.github.io/MVCHead/

查看arXiv页面（https://arxiv.org/abs/2605.25220）查看PDF（https://arxiv.org/pdf/2605.25220）项目页面（https://humansensinglab.github.io/MVCHead/）GitHub（https://github.com/humansensinglab/MVCHead）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.25220）

在你的agent中获取此论文：

hf papers read 2605.25220

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2605.25220以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2605.25220以从此页面链接。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2605.25220以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到一个收藏（https://huggingface.co/new-collection）以从此页面链接。

相似文章

FFAvatar: 少样本、前馈、可泛化的头像重建

Hugging Face Daily Papers

FFAvatar提出了一种前馈框架，能在数秒内从少量非摆拍图像中重建高质量、可动画的3D高斯头部头像，在NeRSemble基准测试上相比现有最优方法实现了5.5 PSNR的提升。

NAMVIS：基于下一尺度自回归的多视图图像合成

Hugging Face Daily Papers

NAMVIS 提出了一种无扩散框架，将稀疏视角多视图图像合成重新定义为几何条件下的下一尺度自回归任务，通过多尺度投影位姿编码将生成过程锚定到相机几何上。在 Objaverse、GSO 和 OmniObject3D 数据集上，NAMVIS 在 PSNR/SSIM/LPIPS 指标上超越了基于扩散的基线方法，同时运行速度快 3 倍以上。