标签
该论文在统一可控的基准框架下系统评估了多模态嵌入学习中的各类对比训练策略，发现大多数策略相比标准对齐基线仅有边际收益甚至带来负面影响，并提出结合难负样本挖掘、假负样本缓解与难批次构建的协同训练方案，在MMEB上以Qwen2-VL-2B平均提升6.0%。
Google DeepMind 推出 EmbeddingGemma 2，这是一款拥有 740M 参数的开源（Apache 2.0）多模态嵌入模型，将文本、代码、图像、视频和音频统一到共享嵌入空间中，并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建，支持 8K 上下文，并采用 Matryoshka 截断以提升存储效率。
Google DeepMind 发布了 EmbeddingGemma 2，这是一款开放的多模态嵌入模型（7.4 亿参数），可将文本、图像、视频和音频映射到统一的 768 维向量空间，专为端侧搜索、RAG 和分类任务设计，并支持 Matryoshka 截断以降低存储成本。
Omni-Embed-Mini 提出一个 0.9B 参数的全模态嵌入模型，将文本、语音、音频、图像、视频和文档映射到同一共享余弦空间，且不更新任何文本侧参数——其方法是从冻结主干模型自身的字幕嵌入中进行稠密蒸馏。2.3B 变体在性能上可与 Gemini Embedding-2 竞争，所有模型、代码和数据均已开源。
本文提出 EviAlign，将语义证据生成与边界读出（Boundary Readout）耦合到共享的多模态大语言模型中，联合训练生成与对比检索目标。在 12 个 MMEB 检索任务上，EviAlign 以 500K 训练对达到 76.9 的平均 Recall@1，同时保持单向量索引与打分机制。
一位前YouTube工程师演示在45分钟内重建核心YouTube功能，包括主页动态、视频上传、播放、数据库、带有多模态嵌入的搜索，以及部署到真实URL。
This paper compares natively multimodal embedding models (Gemini Embedding 2, Amazon Nova 2) against frontier LLMs (GPT-4.1, Claude Sonnet 4.6) for hard-negative text-to-image retrieval, finding comparable accuracy but much lower latency for embedding-based ranking.
本文介绍了 jina-embeddings-v5-omni，这是一套多模态嵌入模型，通过冻结塔组合技术将文本嵌入扩展至图像、音频和视频。该方法仅训练总权重的 0.35%，在保持文本几何结构的同时，以显著降低的计算成本实现了极具竞争力的最先进性能。