论文页面 - LatentUMM：面向统一多模态模型的双重潜在对齐

来源：https://huggingface.co/papers/2605.17766

摘要

LatentUMM 通过构建一个增强的共享潜在空间来解决多模态一致性问题，该空间显式对齐了模态之间的变换，并在生成和重编码过程中稳定了潜在动态。

统一多模态模型（https://huggingface.co/papers?q=Unified%20multimodal%20models）（UMMs）通过学习共享潜在空间（https://huggingface.co/papers?q=shared%20latent%20space）在理解和生成方面均取得了强大性能，然而它们在这两种能力之间往往表现出功能上的不一致性。我们观察到，这一问题并非源于共享表示的缺失，而是由于映射进出潜在空间的变换之间缺乏显式对齐。结果，生成和重编码可能沿着不一致的轨迹进行，导致模态转换下的语义漂移。在这项工作中，我们提出了 LatentUMM，一个构建增强型共享潜在空间（https://huggingface.co/papers?q=shared%20latent%20space）的框架，以显式对齐这些变换并提升跨模态一致性。LatentUMM 包含两个阶段。首先，双重潜在对齐在模态和能力两个层面强制执行一致性：跨模态对齐（https://huggingface.co/papers?q=cross-modal%20alignment）使用更强的嵌入模型施加结构化的跨模态语义，而双重能力对齐（https://huggingface.co/papers?q=dual%20capacity%20alignment）则强制执行生成和重编码下的双向一致性。其次，潜在动态稳定化（https://huggingface.co/papers?q=latent%20dynamics%20stabilization）通过随机潜在展开（https://huggingface.co/papers?q=stochastic%20latent%20rollouts）和偏好优化（https://huggingface.co/papers?q=preference%20optimization）提升鲁棒性，倾向选择能更好保持语义一致性（https://huggingface.co/papers?q=semantic%20consistency）的轨迹。实验表明，LatentUMM 在不同架构上均能持续提升多模态一致性。代码可访问：https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/LatentUMM。

查看 arXiv 页面 （https://arxiv.org/abs/2605.17766）查看 PDF （https://arxiv.org/pdf/2605.17766）添加到收藏 （https://huggingface.co/login?next=%2Fpapers%2F2605.17766）

在您的 agent 中获取该论文：

hf papers read 2605\.17766

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.17766 以将其链接至此页面。

引用该论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.17766 以将其链接至此页面。

引用该论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.17766 以将其链接至此页面。

包含该论文的收藏集 0

没有包含该论文的收藏集

将此论文添加到一个收藏集 （https://huggingface.co/new-collection）中，以将其链接至此页面。