JanusMesh: 快速零样本3D视觉幻觉生成——基于跨空间去噪
摘要
JanusMesh 是一个快速、免训练的框架,通过将生成过程解耦为跨空间双分支去噪和视图条件纹理合成,生成文本驱动的3D视觉错觉——单个网格从不同视角展示不同语义——在仅3-5分钟内实现高真实感。
查看缓存全文
缓存时间: 2026/06/20 14:28
论文页面 - JanusMesh:通过跨空间去噪实现快速零样本3D视觉错觉生成
来源:https://huggingface.co/papers/2606.20563
摘要
一种快速、无需训练的框架,通过将生成过程解耦为跨空间双分支去噪和视角条件纹理合成,实现文本驱动的3D视觉错觉,确保无缝几何融合与语义一致性。
创建3D视觉错觉——即一个能从不同视角展现完全不同语义的单一3D网格——是一项迷人但极具挑战的任务。现有的基于优化的方法速度慢,且可能产生过饱和的色彩。相比之下,简单的拼接方法无法生成几何连贯的物体,会导致明显的非自然接缝和语义泄露。本文提出了一种快速、无需训练的框架,用于生成文本驱动的3D视觉错觉。我们的方法将生成过程解耦为两个阶段。首先,我们提出了一种跨空间双分支去噪过程。该过程动态地将3D潜在变量解码到体素空间,进行CLIP引导的方向对齐和有符号距离场(SDF)混合,从而确保无缝的几何融合。其次,我们引入了一个视角条件纹理合成模块,该模块将视角特定的2D扩散先验映射并聚合到融合后的几何体上。大量实验表明,我们的方法能够在3-5分钟内生成高度逼真、双语义的3D错觉,在几何完整性、语义可识别性和效率上显著优于现有方法。项目页面:https://siang1105.github.io/JanusMesh.github.io/
查看 arXiv 页面 (https://arxiv.org/abs/2606.20563)查看 PDF (https://arxiv.org/pdf/2606.20563)项目页面 (https://siang1105.github.io/JanusMesh.github.io/)GitHub16 (https://github.com/siang1105/JanusMesh)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.20563)
在你的代理中获取此论文:
hf papers read 2606.20563
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型0
没有模型引用此论文
在模型 README.md 中引用 arxiv.org/abs/2606.20563 即可从此页面链接。
引用该论文的数据集0
没有数据集引用此论文
在数据集 README.md 中引用 arxiv.org/abs/2606.20563 即可从此页面链接。
引用该论文的 Spaces0
没有 Space 引用此论文
在 Space README.md 中引用 arxiv.org/abs/2606.20563 即可从此页面链接。
包含该论文的收藏集0
没有包含该论文的收藏集
将该论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。
相似文章
UniMesh:统一3D网格理解与生成
UniMesh通过单一模型,借助Mesh Head、链式网格迭代编辑和自省纠错机制,同时完成3D网格生成与理解任务。
HY-World 2.0:用于重建、生成和模拟三维世界的多模态世界模型
HY-World 2.0 是一个多模态世界模型框架,通过全景生成、轨迹规划和场景组合等专用模块,从文本、图像和视频中生成高保真度的三维高斯泼溅场景,在开源方法中实现了最先进的性能。
基于时空注意力链的快速4D网格生成
一种基于时空注意力链的无需训练4D网格生成方法,将创建时间加速至9秒(13倍加速),同时提升时间一致性并扩展到更长的序列,具备零样本追踪和相机估计能力。
MeshWeaver: 稀疏体素引导的表面编织用于自回归网格生成
MeshWeaver 提出了一种自回归网格生成框架,它使用多级稀疏体素编码器直接预测顶点,为高多边形网格实现了最先进的压缩率和几何保真度。
Helix4D:复杂4D网格生成
Helix4D 提出了一种从视频生成高质量动态4D网格的框架,通过扩展Trellis2,引入跨帧注意力机制和4D时间编码,在不增加参数的情况下重新利用冗余的空间RoPE频带,从而实现这一目标。