论文页面 - Beyond Prompts: Unconditional 3D Inversion for Out-of-Distribution Shapes

来源: https://huggingface.co/papers/2604.14914

摘要

当前最先进的文本到 3D 生成模型存在潜在陷阱（latent sink traps），导致其对文本提示失去敏感性；而一个稳健的框架可以通过将几何表示与语言敏感性解耦来克服这一问题。

文本驱动的生成模型反演是操控 2D 或 3D 内容的核心范式，它解锁了诸如基于文本的编辑、风格迁移或逆问题等众多应用。然而，这一范式依赖于一个假设：生成模型仍对自然语言提示保持敏感。我们证明，对于最先进的原生文本到 3D 生成模型（https://huggingface.co/papers?q=text-to-3D%20generative%20models），这个假设往往不成立。我们识别出一个关键的失败模式：生成轨迹被拉入潜在的“陷阱区”（sink traps）——模型对提示修改（https://huggingface.co/papers?q=prompt%20modifications）不再敏感的区域。在这些状态下，输入文本的改变无法改变内部表征，进而无法改变输出的几何形状。重要的是，我们观察到这并非模型几何表达能力的问题；相同的生成模型有能力产生极其多样的形状，但正如我们所示，它们对分布外文本引导（https://huggingface.co/papers?q=out-of-distribution%20text%20guidance）变得不敏感。我们通过分析生成模型的采样轨迹来研究这一行为，并发现利用模型的无条件生成先验（https://huggingface.co/papers?q=generative%20prior）仍然可以表示和生成复杂几何形状。这导致了一个更稳健的基于文本的 3D 形状编辑框架，该框架通过解耦模型的几何表示（https://huggingface.co/papers?q=geometric%20representation）能力与其语言敏感性（https://huggingface.co/papers?q=linguistic%20sensitivity）来绕过潜在陷阱。我们的方法解决了当前 3D 管线的局限性，并实现了对分布外 3D 形状的高保真语义操作（https://huggingface.co/papers?q=semantic%20manipulation）。项目网页：https://daidedou.sorpi.fr/publication/beyondprompts

查看 arXiv 页面 (https://arxiv.org/abs/2604.14914)查看 PDF (https://arxiv.org/pdf/2604.14914)项目页面 (https://daidedou.sorpi.fr/publication/beyondprompts)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.14914)

在你的 agent 中获取这篇论文：

hf papers read 2604.14914

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

尚无模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2604.14914 以在此页面显示链接。

引用本论文的数据集 0

尚无数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2604.14914 以在此页面显示链接。

引用本论文的 Spaces 0

尚无 Space 链接本论文

请在 Space README.md 中引用 arxiv.org/abs/2604.14914 以在此页面显示链接。

包含本论文的收藏集 0

尚无收藏集包含本论文

请将本论文添加至收藏集 (https://huggingface.co/new-collection) 以在此页面显示链接。