论文页面 - SPARGen：通过原生多模态生成统一空间感知与推理

来源：https://huggingface.co/papers/2608.14138

摘要

SPARGen 将三维重建、稠密对应和空间推理统一到一个单一的、由指令条件化的多模态生成模型中，该模型联合学习共享的空间表征。

从视觉观测中进行空间感知与推理，需要恢复几何结构、建立对应关系并理解空间关系。现有方法通常采用针对特定任务的架构或外部几何模块分别处理这些能力，这限制了同一物理场景互补表征之间的知识迁移。我们提出了 SPARGen，这是一个统一的多模态框架（https://huggingface.co/papers?q=multimodal%20framework），它将三维重建（https://huggingface.co/papers?q=3D%20reconstruction）、稠密对应（https://huggingface.co/papers?q=dense%20correspondence）和空间推理（https://huggingface.co/papers?q=spatial%20reasoning）视为由指令条件化的生成（https://huggingface.co/papers?q=instruction-conditioned%20generation）任务。SPARGen 将紧凑的结构化和语言输出序列化为词元序列（https://huggingface.co/papers?q=token%20sequences），同时以图像对齐的形式生成稠密几何场（https://huggingface.co/papers?q=geometric%20fields），使得空间监督（https://huggingface.co/papers?q=spatial%20supervision）能够在原生多模态生成模型（https://huggingface.co/papers?q=native%20multimodal%20generative%20model）内共同塑造共享表征。在三维重建（https://huggingface.co/papers?q=3D%20reconstruction）、对应关系和空间推理（https://huggingface.co/papers?q=spatial%20reasoning）的基准测试实验表明，SPARGen 在单一的原生多模态生成框架内，在异构空间任务上取得了有竞争力的性能。

查看 arXiv 页面 (https://arxiv.org/abs/2608.14138) 查看 PDF (https://arxiv.org/pdf/2608.14138) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.14138)

获取此论文到您的代理：

hf papers read 2608\.14138

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.14138 以从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.14138 以从此页面链接它。

引用此论文的空间 0

没有空间链接此论文

在空间的 README.md 中引用 arxiv.org/abs/2608.14138 以从此页面链接它。

包含此论文的收藏夹 0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接它。