TRELLIS.2 图像转3D 现已可在Mac(Apple Silicon)上运行 - 无需NVIDIA GPU
摘要
一位开发者将微软的TRELLIS.2图像转3D模型移植到Apple Silicon Mac上运行,通过用PyTorch MPS等价物替换仅CUDA依赖项,实现了无需NVIDIA GPU的离线3D网格生成。
我将微软的TRELLIS.2移植到Apple Silicon上,通过PyTorch MPS运行。原始版本依赖五个仅CUDA的编译扩展(flex\_gemm, flash\_attn, o\_voxel, cumesh, nvdiffrast),这些扩展在Mac上没有对应版本。从头编写了替代后端:
- 纯PyTorch稀疏3D卷积(替代flex\_gemm)
- 使用空间哈希的Python网格提取(替代o\_voxel中的CUDA哈希表操作)
- 用于稀疏Transformer的SDPA注意力(替代flash\_attn)
- 通过MPS上的torch.grid\_sample实现GPU加速的三线性体素采样
在M4 Pro(24GB)上,从单张照片生成约40万顶点的网格大约需要3.5分钟。使用MPS GPU加速,纹理烘焙大约需要18秒。虽然没有H100快,但可以离线运行,零云成本。
Repo: https://github.com/shivampkumar/trellis-mac
相似文章
Show HN:在 Apple Silicon 上原生运行 TRELLIS.2 图像转3D生成模型
社区移植版:微软 TRELLIS.2 图像转3D生成模型可在 Apple Silicon Mac 上通过 PyTorch MPS 原生运行,无需 NVIDIA GPU,在 M4 Pro 上约 3.5 分钟即可生成含 40 万以上顶点的高质量 3D 网格。
本地图像转3D(<2GB内存,<20秒,Apple Silicon,iPhone)
一种新模型可在Apple Silicon设备和iPhone上本地从单张图像生成3D模型,内存占用低于2GB,耗时不到20秒。
@PyTorch:ExecuTorch 现有一个 MLX 委托,可在 Apple Silicon GPU 上运行 PyTorch 模型。它支持大语言模型、语音转文字、以及……
ExecuTorch 现有一个 MLX 委托,可在 Apple Silicon Mac 上为 PyTorch 模型提供 GPU 加速推理,支持大语言模型、语音转文字以及通过 TorchAO 进行量化的 MoE 模型。
MAX models 现在可以在 Apple silicon GPU 上运行
MAX models 已更新,可在 Apple silicon GPU 上运行,从而在 Mac 上实现更快的推理。
你可以在Apple Silicon Mac上通过PCI穿透进行CUDA推理
本文探讨了通过Thunderbolt在Apple Silicon Mac上使用外部NVIDIA RTX 5090 GPU进行CUDA推理和游戏的可行性,涵盖了tinygrad eGPU驱动以及向Linux虚拟机进行PCI穿透等方法。