论文页面 - NeoMME：一种单塔多模态原生多语言基础编码器，用于高效微调与推理

来源：https://huggingface.co/papers/2609.01657

摘要

NeoMME 引入了采用掩码离散扩散预训练的小型双向多模态编码器，在视觉文档检索和后期交互嵌入的高压缩方面表现出色。

多模态模型通常建立在为生成式视觉-语言建模设计的架构之上，通常将单独预训练的视觉编码器与因果语言模型相结合。视觉文档检索器（如 ColPali）将这些模型重新用作编码器，继承了视觉语言模型在非生成任务上的参数和计算开销。我们推出 NeoMME，这是一系列具有 2600 万和 8 亿参数的多模态和多语言双向编码器，它们在单个双向 Transformer 编码器（https://huggingface.co/papers?q=bidirectional%20Transformer%20encoder）中处理多语言文本和原始图像块。两个模型都从头开始使用掩码离散扩散（https://huggingface.co/papers?q=masked%20discrete-diffusion）文本目标进行预训练，对于多模态样本则以可见图像块为条件。两者都支持 16,384 个 token 的上下文，足以编码最多两张标准 4K 超高清图像。为了展示其下游能力，我们使用联合训练的稠密检索头和后期交互头（https://huggingface.co/papers?q=late-interaction%20heads）对 NeoMME 进行了微调。在 ViDoRe v3（https://huggingface.co/papers?q=ViDoRe%20v3）基准测试中，得到的 NeoMME-Retriever 260M 以 0.523 的 nDCG@10（https://huggingface.co/papers?q=nDCG%4010）得分，严格超越了所有参数低于 8 亿的评估模型，而 NeoMME-Retriever 800M 达到了 0.556。在 NVIDIA L40S 上匹配的 2048x2048 图像输入尺寸下，NeoMME-260M 的页面编码吞吐量约为 ColModernVBERT 的 2 倍。分层 token 池化（https://huggingface.co/papers?q=Hierarchical%20token%20pooling）和非对称量化（https://huggingface.co/papers?q=asymmetric%20quantization）将后期交互多模态文档嵌入压缩了 255 倍，同时保留了超过 95% 的基线 nDCG@10（https://huggingface.co/papers?q=nDCG%4010）。我们将 NeoMME 贡献给了 Hugging Face Transformers，并在 Apache 2.0 许可下发布预训练主干和检索兼容检查点，地址为 https://hf.co/collections/Hcompany/neomme。

查看 arXiv 页面 (https://arxiv.org/abs/2609.01657) 查看 PDF (https://arxiv.org/pdf/2609.01657) 项目页面 (https://huggingface.co/docs/transformers/main/en/model_doc/neomme) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.01657)

在你的智能体中获取这篇论文：

hf papers read 2609.01657

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.01657，以将其从此页面链接。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.01657，以将其从此页面链接。

引用此论文的空间 0

没有空间关联此论文

在空间 README.md 中引用 arxiv.org/abs/2609.01657，以将其从此页面链接。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)以将其从此页面链接。