JanusMesh: 快速零样本3D视觉幻觉生成——基于跨空间去噪

Hugging Face Daily Papers 论文

摘要

JanusMesh 是一个快速、免训练的框架,通过将生成过程解耦为跨空间双分支去噪和视图条件纹理合成,生成文本驱动的3D视觉错觉——单个网格从不同视角展示不同语义——在仅3-5分钟内实现高真实感。

创建3D视觉错觉——单个3D网格从不同视角展示完全不同的语义——是一个迷人但艰难的挑战。现有的基于优化的方法速度慢且可能产生过饱和的颜色。相比之下,简单的拼接方法无法生成几何一致的物体,导致可见的不自然接缝和语义泄漏。在本文中,我们提出了一个快速且无需训练的框架,用于生成文本驱动的3D视觉错觉。我们的方法将生成过程解耦为两个阶段。首先,我们提出了一种跨空间双分支去噪过程。该过程动态地将3D潜在表示解码到体素空间,用于CLIP引导的方向对齐和符号距离场(SDF)混合,确保了几何的无缝融合。其次,我们引入了一个视图条件纹理合成模块,该模块将特定视图的2D扩散先验投影并聚合到融合后的几何体上。大量实验表明,我们的方法在仅3-5分钟内生成高度真实、双语义的3D错觉,在几何完整性、语义可识别性和效率方面显著优于现有方法。Project page: https://siang1105.github.io/JanusMesh.github.io/
查看原文
查看缓存全文

缓存时间: 2026/06/20 14:28

论文页面 - JanusMesh:通过跨空间去噪实现快速零样本3D视觉错觉生成

来源:https://huggingface.co/papers/2606.20563

摘要

一种快速、无需训练的框架,通过将生成过程解耦为跨空间双分支去噪和视角条件纹理合成,实现文本驱动的3D视觉错觉,确保无缝几何融合与语义一致性。

创建3D视觉错觉——即一个能从不同视角展现完全不同语义的单一3D网格——是一项迷人但极具挑战的任务。现有的基于优化的方法速度慢,且可能产生过饱和的色彩。相比之下,简单的拼接方法无法生成几何连贯的物体,会导致明显的非自然接缝和语义泄露。本文提出了一种快速、无需训练的框架,用于生成文本驱动的3D视觉错觉。我们的方法将生成过程解耦为两个阶段。首先,我们提出了一种跨空间双分支去噪过程。该过程动态地将3D潜在变量解码到体素空间,进行CLIP引导的方向对齐和有符号距离场(SDF)混合,从而确保无缝的几何融合。其次,我们引入了一个视角条件纹理合成模块,该模块将视角特定的2D扩散先验映射并聚合到融合后的几何体上。大量实验表明,我们的方法能够在3-5分钟内生成高度逼真、双语义的3D错觉,在几何完整性、语义可识别性和效率上显著优于现有方法。项目页面:https://siang1105.github.io/JanusMesh.github.io/

查看 arXiv 页面 (https://arxiv.org/abs/2606.20563)查看 PDF (https://arxiv.org/pdf/2606.20563)项目页面 (https://siang1105.github.io/JanusMesh.github.io/)GitHub16 (https://github.com/siang1105/JanusMesh)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.20563)

在你的代理中获取此论文:

hf papers read 2606.20563

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2606.20563 即可从此页面链接。

引用该论文的数据集0

没有数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.20563 即可从此页面链接。

引用该论文的 Spaces0

没有 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2606.20563 即可从此页面链接。

包含该论文的收藏集0

没有包含该论文的收藏集

将该论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章

UniMesh:统一3D网格理解与生成

Hugging Face Daily Papers

UniMesh通过单一模型,借助Mesh Head、链式网格迭代编辑和自省纠错机制,同时完成3D网格生成与理解任务。

基于时空注意力链的快速4D网格生成

Hugging Face Daily Papers

一种基于时空注意力链的无需训练4D网格生成方法,将创建时间加速至9秒(13倍加速),同时提升时间一致性并扩展到更长的序列,具备零样本追踪和相机估计能力。

Helix4D:复杂4D网格生成

Hugging Face Daily Papers

Helix4D 提出了一种从视频生成高质量动态4D网格的框架,通过扩展Trellis2,引入跨帧注意力机制和4D时间编码,在不增加参数的情况下重新利用冗余的空间RoPE频带,从而实现这一目标。