TencentARC/Pixal3D
摘要
Pixal3D是由TencentARC和微软开发的高保真单图转3D模型,通过反向投影显式地将像素特征提升到3D,实现接近重建级别的几何结构和PBR纹理。该模型已被SIGGRAPH 2026接收,并提供推理代码和演示。
查看缓存全文
缓存时间: 2026/05/15 00:16
TencentARC/Pixal3D · Hugging Face
来源:https://huggingface.co/TencentARC/Pixal3D
Pixal3D 能够从单张图像生成高保真度的3D资产。与以往通过注意力机制松散注入图像特征的方法不同,Pixal3D 通过反投影将像素特征显式提升至3D空间,建立起直接的像素到3D的对应关系。这使得模型能够实现近乎重建级别的保真度,拥有精细的几何结构以及 PBR 纹理。
✨ 新闻
- 2026年5月:发布基于 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 主干网络的改进版本。💪
- 2026年5月:发布推理代码和在线演示。🤗
- 2026年4月:我们的论文被 SIGGRAPH 2026 收录!🎉
📌 分支
| 分支 | 描述 |
|---|---|
main | 最新版本——基于 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 主干网络的改进实现,性能更佳。 |
paper | 论文版本——基于 Direct3D-S2 (https://github.com/DreamTechAI/Direct3D-S2) 的原始实现,对应我们在 SIGGRAPH 2026 论文中报告的结果。 |
如果你希望复现论文中的结果,请切换到
paper分支。
🎮 在线试用
你可以通过我们的 Hugging Face Gradio 演示,直接在浏览器中试用 Pixal3D,无需任何安装:
👉 启动演示 (https://huggingface.co/spaces/TencentARC/Pixal3D)
🚀 快速开始
安装
步骤1:按照 Trellis.2 安装说明操作
请先按照 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 的安装指南设置好基础环境。
步骤2:安装额外依赖项
pip install -r requirements.txt
步骤3:安装 utils3d
pip install https://github.com/LDYang694/Storages/releases/download/20260430/utils3d-0.0.2-py3-none-any.whl
使用
推理
从单张图像生成 GLB 网格:
python inference.py --image assets/test_image/0.png --output ./output.glb
Web 演示
我们为 Pixal3D 提供了一个 Gradio Web 演示,可以让您以交互方式从图像生成 3D 网格。
python app.py
🤗 致谢
本项目大量基于 Trellis.2 (https://github.com/microsoft/TRELLIS.2) 和 Direct3D-S2 (https://github.com/DreamTechAI/Direct3D-S2)。同时感谢以下仓库的杰出贡献:Trellis (https://github.com/microsoft/TRELLIS)。
📄 引用
如果你觉得本工作有用,请考虑引用:
@article{li2026pixal3d,
title = {Pixal3D: Pixel-Aligned 3D Generation from Images},
author = {Li, Dong-Yang and Zhao, Wang and Chen, Yuxin and Hu, Wenbo and Guo, Meng-Hao and Zhang, Fang-Lue and Shan, Ying and Hu, Shi-Min},
journal = {arXiv preprint arXiv:2605.10922},
year = {2026}
}
相似文章
Pixal3D:基于图像的像素对齐3D生成
Pixal3D提出了一种像素对齐的3D生成方法,通过反向投影条件化建立直接的像素到3D对应关系,从而提高保真度,解决了规范空间生成中的问题。
tencentarc/gfpgan
GFPGAN 是由腾讯 ARC 开发的实用人脸修复模型,可在 Replicate 上使用。它能高保真地修复老旧或低质量的人脸图像。
PixWorld:在像素空间中统一3D场景生成与重建
PixWorld提出了一种统一的像素空间扩散方法,用于3D场景重建与生成,通过直接的图像级监督和几何感知特征对齐,克服了潜在空间方法的局限性。该方法优于先前的生成方法,并达到了与最先进的重建方法相当的性能。
Lite3R:一种高效的模型无关前馈3D重建框架
Lite3R 是一个模型无关框架,通过稀疏线性注意力和 FP8 感知量化,提升了基于 Transformer 的 3D 重建效率。在保持 VGGT 和 DA3-Large 等主干网络几何精度的同时,它将延迟和内存占用降低了高达 2.4 倍。
@HowToAI_: 微软发布了一个40亿参数模型,可在3秒内将任意图像转化为3D资产。它使用了一种新的几何格式…
微软发布了一个40亿参数模型,可在3秒内将任意图像转化为3D资产,采用O-Voxel几何格式,输出带有完整PBR纹理的GLB文件,兼容Blender、Unity和Unreal。