TencentARC/Pixal3D

Hugging Face Models Trending 模型

摘要

Pixal3D是由TencentARC和微软开发的高保真单图转3D模型,通过反向投影显式地将像素特征提升到3D,实现接近重建级别的几何结构和PBR纹理。该模型已被SIGGRAPH 2026接收,并提供推理代码和演示。

任务: 图像到3D 标签: 图像到3D, arxiv:2605.10922, 许可证: 其他, 区域: 美国
查看原文
查看缓存全文

缓存时间: 2026/05/15 00:16

TencentARC/Pixal3D · Hugging Face

来源:https://huggingface.co/TencentARC/Pixal3D

Pixal3D 能够从单张图像生成高保真度的3D资产。与以往通过注意力机制松散注入图像特征的方法不同,Pixal3D 通过反投影将像素特征显式提升至3D空间,建立起直接的像素到3D的对应关系。这使得模型能够实现近乎重建级别的保真度,拥有精细的几何结构以及 PBR 纹理。


✨ 新闻

  • 2026年5月:发布基于 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 主干网络的改进版本。💪
  • 2026年5月:发布推理代码和在线演示。🤗
  • 2026年4月:我们的论文被 SIGGRAPH 2026 收录!🎉

📌 分支

分支描述
main最新版本——基于 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 主干网络的改进实现,性能更佳。
paper论文版本——基于 Direct3D-S2 (https://github.com/DreamTechAI/Direct3D-S2) 的原始实现,对应我们在 SIGGRAPH 2026 论文中报告的结果。

如果你希望复现论文中的结果,请切换到 paper 分支。

🎮 在线试用

你可以通过我们的 Hugging Face Gradio 演示,直接在浏览器中试用 Pixal3D,无需任何安装:

👉 启动演示 (https://huggingface.co/spaces/TencentARC/Pixal3D)

🚀 快速开始

安装

步骤1:按照 Trellis.2 安装说明操作

请先按照 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 的安装指南设置好基础环境。

步骤2:安装额外依赖项

pip install -r requirements.txt

步骤3:安装 utils3d

pip install https://github.com/LDYang694/Storages/releases/download/20260430/utils3d-0.0.2-py3-none-any.whl

使用

推理

从单张图像生成 GLB 网格:

python inference.py --image assets/test_image/0.png --output ./output.glb

Web 演示

我们为 Pixal3D 提供了一个 Gradio Web 演示,可以让您以交互方式从图像生成 3D 网格。

python app.py

🤗 致谢

本项目大量基于 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 和 Direct3D-S2 (https://github.com/DreamTechAI/Direct3D-S2)。同时感谢以下仓库的杰出贡献:Trellis (https://github.com/microsoft/TRELLIS)。

📄 引用

如果你觉得本工作有用,请考虑引用:

@article{li2026pixal3d,
    title   = {Pixal3D: Pixel-Aligned 3D Generation from Images},
    author  = {Li, Dong-Yang and Zhao, Wang and Chen, Yuxin and Hu, Wenbo and Guo, Meng-Hao and Zhang, Fang-Lue and Shan, Ying and Hu, Shi-Min},
    journal = {arXiv preprint arXiv:2605.10922},
    year    = {2026}
}

相似文章

Pixal3D:基于图像的像素对齐3D生成

Hugging Face Daily Papers

Pixal3D提出了一种像素对齐的3D生成方法,通过反向投影条件化建立直接的像素到3D对应关系,从而提高保真度,解决了规范空间生成中的问题。

tencentarc/gfpgan

Replicate Explore

GFPGAN 是由腾讯 ARC 开发的实用人脸修复模型,可在 Replicate 上使用。它能高保真地修复老旧或低质量的人脸图像。

PixWorld:在像素空间中统一3D场景生成与重建

Hugging Face Daily Papers

PixWorld提出了一种统一的像素空间扩散方法,用于3D场景重建与生成,通过直接的图像级监督和几何感知特征对齐,克服了潜在空间方法的局限性。该方法优于先前的生成方法,并达到了与最先进的重建方法相当的性能。

Lite3R:一种高效的模型无关前馈3D重建框架

Hugging Face Daily Papers

Lite3R 是一个模型无关框架,通过稀疏线性注意力和 FP8 感知量化,提升了基于 Transformer 的 3D 重建效率。在保持 VGGT 和 DA3-Large 等主干网络几何精度的同时,它将延迟和内存占用降低了高达 2.4 倍。