论文页面 - MODUS：仅解码器的多种模态任意到任意建模

来源：https://huggingface.co/papers/2607.25948 作者：

,

,

,

,

,

,

,

,

,

,

,

,

摘要

任意到任意（any-to-any）模型能够从任意模态组合中预测任意其他模态，这一范式已被用于多模态视觉和视觉-语言模型中，并越来越多地应用于生态学和天文学等科学领域。现有的任意到任意模型通常使用编码器-解码器或扩散架构从头训练，这影响了它们的性能，并阻止它们利用强大的预训练仅解码器模型作为先验知识。在本工作中，我们研究了仅解码器的任意到任意多模态建模，该方法对称地处理所有模态，并支持任意模态作为输入和输出，而无需特定于模态的头部、损失或任务流程。由于每个模态既是同一模型的输入又是输出，所得到的模型名为Modus，能够支持一系列应用，例如通过中间模态进行链式生成，或通过使用另一种生成的模态对模型自身输出进行评分来实现跨模态自我验证。Modus展现出强大的开箱即用性能，并在多个基准测试中使用单一模型与专业模型和多任务基线模型具有竞争力。所有材料已在 https://modus-multimodal.epfl.ch/ 开源。

查看arXiv页面 (https://arxiv.org/abs/2607.25948) 查看PDF (https://arxiv.org/pdf/2607.25948) 项目页面 (https://modus-multimodal.epfl.ch/) GitHub16 (https://github.com/EPFL-VILAB/Modus) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.25948)

在您的agent中获取此论文：

hf papers read 2607\.25948

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2607.25948以链接至此页面。

引用本文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2607.25948以链接至此页面。

引用本文的Spaces0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2607.25948以链接至此页面。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以链接至此页面。