论文页面 - 走向原生多模态建模：一份路线图

来源：https://huggingface.co/papers/2605.25343 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

原生多模态建模超越了传统融合方法，通过将多种模态固有地集成到统一的 Transformer 框架中，实现了跨各种输入输出配置的无缝理解与生成。

多模态建模 (https://huggingface.co/papers?q=Multimodal%20modeling) 是从模态无关推理迈向世界建模的关键一步。早期方法主要依赖 晚期融合 (https://huggingface.co/papers?q=late-fusion)，即组装编码器、冻结的语言骨干网络和输出头；而近期的努力已将范式转向 原生多模态建模 (https://huggingface.co/papers?q=native%20multimodal%20modeling) (NMM)，通过模态的内在集成实现更优的多模态性能。尽管潜力巨大，但原生架构的设计空间仍缺乏明确定义。本文向社区提供了一份规范化的路线图，以指导这一转型。具体而言，我们正式定义了 架构原生性 (https://huggingface.co/papers?q=architectural%20nativity)，区分了 中期融合 (https://huggingface.co/papers?q=mid-fusion) 和 早期融合 (https://huggingface.co/papers?q=early-fusion) 与非原生范式。我们进一步通过 输入输出对偶性 (https://huggingface.co/papers?q=input-output%20duality) 的视角，将现有的原生模型组织为三类：(i) 多到文本——用于 跨模态理解 (https://huggingface.co/papers?q=cross-modal%20comprehension)，输出仅为文本；(ii) 多到目标——用于 场景导向生成 (https://huggingface.co/papers?q=scenario-oriented%20generation)，例如图像、音频和视频生成；(iii) 多到多——用于 统一建模 (https://huggingface.co/papers?q=unified%20modeling)，输入输出对称。我们对向着最终 NMM 框架（即理解与生成无缝共存于统一的 Transformer 范式 (https://huggingface.co/papers?q=transformer%20paradigm) 中）的转型进行了全面且工业级的探讨。我们从产业视角系统地拆解了端到端流程，涵盖架构协调、大规模数据策展、全栈训练配方、推理与部署，以及对真正原生建模的全面评估。

查看 arXiv 页面 (https://arxiv.org/abs/2605.25343) 查看 PDF (https://arxiv.org/pdf/2605.25343) 项目页面 (https://nmm-roadmap.github.io/) GitHub2 (https://github.com/NMM-Roadmap/Awesome-NMM-List) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.25343)

在你的智能体中获取此论文：

hf papers read 2605\.25343

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接此论文的模型

请在模型的 README.md 中引用 arxiv.org/abs/2605.25343，以在此页面建立链接。

引用此论文的数据集 0

没有链接此论文的数据集

请在数据集的 README.md 中引用 arxiv.org/abs/2605.25343，以在此页面建立链接。

引用此论文的 Spaces 0

没有链接此论文的 Space

请在 Space 的 README.md 中引用 arxiv.org/abs/2605.25343，以在此页面建立链接。

包含此论文的收藏集 0

没有包含此论文的收藏集

请将此论文添加至 收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。