论文页面 - Ovis-Embedding：推动通用全模态嵌入技术的前沿

来源：https://huggingface.co/papers/2609.25165

摘要

本报告介绍了 Ovis-Embedding，这是一族先进的全模态嵌入模型，基于文本、图像、视频和音频的原生集成构建而成。Ovis-Embedding 并非拼接独立的模态处理塔，而是采用共享的多模态主干网络，在统一的表示空间中编码不同模态。具体而言，我们实现了三大关键突破：(1) 原生全模态初始化：采用预训练的 Qwen-omni 模型作为嵌入主干网络，并通过低秩初始化结合对比训练进行适配；(2) 数据中心的全模态训练：构建了涵盖文本、图像、视频、音频及交错多模态数据的广泛高质量语料库。为提高数据效率，我们引入同源采样策略，形成任务一致且包含有信息的批内负样本的数据批次；(3) 嵌入专用训练与推理优化：采用焦点损失函数强调困难样本，并通过基于相似度的嵌入蒸馏技术，从互补专家模型中迁移细粒度的相似性结构。在推理阶段，低秩特征分解实现了维度灵活、性能损失极小的紧凑嵌入表示。实验评估表明，Ovis-Embedding 系列在 MMEB-v3、MMEB-v2、MVEB、MAEB 和 RTEB 上取得了最先进性能，证明了其在文本、图像、视频和音频模态上的有效性。这些结果凸显了统一的全模态训练在克服模态碎片化、推动用于任意到任意检索的通用嵌入模型发展方面的潜力。

查看 arXiv 页面 (https://arxiv.org/abs/2609.25165) 查看 PDF (https://arxiv.org/pdf/2609.25165) GitHub19 (https://github.com/ATH-MaaS/Ovis-Omni-Embedding) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.25165)

通过您的代理获取此论文：

hf papers read 2609\.25165

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.25165 以从本页面链接。

引用本文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.25165 以从本页面链接。

引用本文的 Space 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.25165 以从本页面链接。

包含本文的收藏 0

没有收藏包含此论文

将本文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接。