TorchUMM: 一个用于评估、分析和后训练的统一多模态模型代码库

Papers with Code Trending 论文
multimodal codebase evaluation benchmarking post-training unified standardization

摘要

TorchUMM 是一个统一的代码库，用于评估和分析多模态模型在理解、生成和编辑任务上的表现，采用标准化协议和多样化数据集，能够实现公平比较并深入洞察模型的优势与局限性。

近年来，统一多模态模型（UMMs）的进展导致能够理解和生成并编辑视觉与文本模态的架构大量涌现。然而，由于模型架构的多样性以及训练范式和实现细节的异质性，为UMMs开发统一框架仍然具有挑战性。在本文中，我们提出了 TorchUMM，这是首个统一的代码库，用于跨多种UMM骨干网络、任务和数据集的全面评估、分析和后训练。TorchUMM 支持涵盖广泛规模与设计范式的多种模型。我们的基准测试涵盖三个核心任务维度：多模态理解、生成和编辑，并整合了既有和新颖的数据集以评估感知、推理、组合性和指令跟随能力。通过提供统一的接口和标准化的评估协议，TorchUMM 能够实现异构模型间的公平可重复比较，并促进对其优势与局限性的更深入理解，从而推动更强大的统一多模态系统的开发。代码地址：https://github.com/AIFrontierLab/TorchUMM
查看原文
查看缓存全文

缓存时间: 2026/07/21 06:47

论文页面 - TorchUMM：用于评估、分析和后训练的统一多模态模型代码库

来源：https://huggingface.co/papers/2604.10784

摘要

TorchUMM 提供了一个统一代码库，通过标准化协议和多样化数据集，对多模态模型在理解、生成和编辑任务上进行评估与分析。

近年来，统一多模态模型（UMMs）的发展催生了大量能够在视觉和文本模态间进行理解、生成和编辑的架构。然而，由于模型架构的多样性以及训练范式和实现细节的异构性，为 UMMs 构建统一框架仍然充满挑战。在本文中，我们提出 TorchUMM，这是首个用于跨多种 UMM 主干、任务和数据集进行全面评估、分析和后训练的统一代码库。TorchUMM 支持涵盖广泛规模与设计范式的大量模型。我们的基准测试涵盖三大核心任务维度：多模态理解、生成和编辑，并整合了既有和新颖的数据集，以评估感知、推理、组合性和指令跟随能力。通过提供统一接口和标准化评估协议，TorchUMM 实现了异构模型间的公平与可复现比较，促进了对其优缺点的深入洞察，从而有助于开发更强大的统一多模态系统。代码地址：https://github.com/AIFrontierLab/TorchUMM。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 279 添加到收藏

在智能体中使用本文：

hf papers read 2604.10784

没有最新的 CLI？ curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

暂无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2604.10784 即可从本页面链接。

引用本文的数据集0

暂无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2604.10784 即可从本页面链接。

引用本文的 Space0

暂无 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2604.10784 即可从本页面链接。

包含本文的收藏集1

相似文章

PixelUMM：无需编码器的统一图像与视频理解和生成模型

Hugging Face Daily Papers

PixelUMM 是一种无需编码器的统一多模态模型，直接在像素空间中运行：将图像表示为空间 patch，将视频表示为空时 tubelet，并通过单层线性投影输入共享骨干网络。其 Mixture-of-Transformers 架构同时支持自回归文本预测和像素空间的流匹配（flow matching），用于图像和视频的理解与生成，在取得有竞争力性能的同时，为未来的像素空间 UMM 设计提供了参考。

FlexUMM：统一多模态模型的灵活表示学习

arXiv cs.AI

FlexUMM提出了一种灵活的统一多模态模型框架，动态决定何时保留共享计算、何时路由到专门化容量、何时提前停止处理，从而在提升理解与生成任务准确性的同时提高计算效率，可作为即插即用模块增强现有UMM。