NVIDIA Nemotron 3 Embed 在 RTEB 上排名第一，推动智能体检索发展

来源：https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb 返回文章列表 (https://huggingface.co/blog)

• 评估：检索质量、智能体效率与部署权衡 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#evaluation-retrieval-quality-agentic-efficiency-and-deployment-tradeoffs) - RTEB 领先地位及在检索基准上的显著提升 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#rteb-leadership-and-strong-gains-across-retrieval-benchmarks) - 为何更好的检索对智能体至关重要 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#why-better-retrieval-matters-for-agents) - 在 Blackwell 上使用 NVFP4 扩展检索能力 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#scaling-retrieval-with-nvfp4-on-blackwell) - 即日可用的高性能 NIM (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#day-0-performant-nim)
• 我们如何构建 Nemotron 3 Embed 模型 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#how-we-built-the-nemotron-3-embed-models) - 缩放到 1B (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#scaling-down-to-1b)
• 企业合作伙伴评估 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#enterprise-partner-evaluations)
• 快速上手 (https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#getting-started)

在多步骤智能体工作流中，检索至关重要：检索质量差可能导致智能体获取无关上下文、重复查询、浪费 token 预算，并将噪声带入后续推理步骤。

今天，我们发布 NVIDIA Nemotron 3 Embed (https://huggingface.co/collections/nvidia/nemotron-3-embed)，这是一套开放且可商用的嵌入模型集合，旨在提升检索质量，同时为开发者提供实用的部署选项，适用于生产级 RAG、智能体检索、代码检索和智能体记忆。

该集合包含三个开放模型，在准确性-效率曲线上实现了最先进的检索性能。其中 8B 型号在 RTEB 排行榜上名列第一，而高效的 1B 变体专为生产级部署而构建。

表 1. Nemotron 3 Embed 模型可用性与部署矩阵。

image5 (https://cdn-uploads.huggingface.co/production/uploads/697fa5ae089a7f9330c5078f/I-QbjjUGW9tmE2mcDaW2f.png)

图 1. RTEB 多语言排行榜 (https://mteb-leaderboard.hf.space/benchmark/RTEB%28beta%29) 截图（2026 年 7 月 15 日），显示 Nemotron-3-Embed-8B-BF16 排名第一。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#key-features 主要特性

除了 RTEB 的出色成绩，Nemotron 3 Embed 还为企业级检索部署引入了一套生产级特性：

• 开放权重、数据集和配方： 让团队能够自主检查、调优、微调并在自有基础设施上部署检索模型。
• 32k 上下文窗口： 支持长文档、大型代码上下文和多轮智能体历史记录的检索，同时减少截断。
• 多语言与代码检索： 支持全球企业数据、技术文档和多文件代码仓库的检索。
• NVIDIA NVFP4 高效率： 提供 Blackwell 优化的 4 位部署路径，内存占用更小，适合高吞吐量检索。
• 微调 (https://github.com/NVIDIA-NeMo/Nemotron/tree/main/docs/nemotron/embed) 与蒸馏 (https://github.com/NVIDIA-NeMo/Automodel/tree/main/examples/retrieval/distillation) 配方： NVIDIA NeMo AutoModel (https://github.com/nvidia-nemo/automodel) 配方支持领域自适应和模型压缩，帮助团队在其数据上适配检索模型。
• 即日生态系统集成： 立即在 Hugging Face (https://huggingface.co/collections/nvidia/nemotron-3-embed) 上可用，可作为 NVIDIA NIM (https://build.nvidia.com/nvidia/nemotron-3-embed-1b) 微服务部署，受 vLLM 支持，并通过领先的 AI 云和推理合作伙伴访问。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#evaluation-retrieval-quality-agentic-efficiency-and-deployment-tradeoffs 评估：检索质量、智能体效率与部署权衡

我们从三个维度评估 Nemotron 3 Embed：检索质量、下游智能体效率以及部署权衡。8B 模型确立了集合的质量上限，而 1B BF16 和 NVFP4 变体则将相同的检索优先设计应用于低成本和高吞吐量的部署场景。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#rteb-leadership-and-strong-gains-across-retrieval-benchmarks RTEB 领先地位及在检索基准上的显著提升

我们首先在 RTEB (https://huggingface.co/blog/rteb) 上评估这些模型，其中 Nemotron-3-Embed-8B-BF16 排名第一。我们还在 ViDoRe V3 (https://huggingface.co/blog/QuentinJG/introducing-vidore-v3) Text、MMTEB (https://arxiv.org/abs/2502.13595) Retrieval 和 LongEmbed (https://github.com/dwzhu-pku/longembed) 上测试了这些模型，使用平均 NDCG@10。

retrieval_accuracy_vertical_longembed_with_gemma_no_gap_y0_y100_1dp (https://cdn-uploads.huggingface.co/production/uploads/697fa5ae089a7f9330c5078f/_4Rzuu2UMDD1DeHs-TOhP.png)

图 2. 在 RTEB、ViDoRe V3 Text、MMTEB Retrieval 和 LongEmbed 上使用平均 NDCG@10 的检索准确性，比较 Nemotron 3 Embed 模型与上一代 Nemotron 基线。

• Nemotron-3-Embed-8B-BF16 在 RTEB 上排名第一，RTEB 得分为 78.5%，MMTEB Retrieval 得分为 75.5%。
• Nemotron-3-Embed-1B-BF16 将 8B 模型的大部分检索质量带入更小的部署空间。它在 RTEB 上得分为 72.4%，错误率相比其 1B 前身（llama-nemotron-embed-vl-1b-v2）降低 27%；在 MMTEB Retrieval 上得分为 71.0%，错误率降低 28%。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#why-better-retrieval-matters-for-agents 为何更好的检索对智能体至关重要

为了在智能体场景中评估检索，我们使用由 Nemotron 3 Ultra (https://github.com/NVIDIA-NeMo/Nemotron/tree/main/usage-cookbook/Nemotron-3-Ultra) 驱动的搜索智能体 (https://huggingface.co/blog/nvidia/nemo-retriever-agentic-retrieval)，并改变检索系统使用的嵌入模型。更好的检索可以更早地返回相关证据，帮助智能体避免重复搜索、不必要的推理轮次和额外的上下文检查。我们比较了 ViDoRe V3、BRIGHT (https://brightbenchmark.github.io/) 和 BrowseComp-Plus (https://huggingface.co/spaces/Tevatron/BrowseComp-Plus) 上的平均检索准确性与下游智能体 token 成本（每次查询估计值）。

image2 (https://cdn-uploads.huggingface.co/production/uploads/697fa5ae089a7f9330c5078f/v45KGVKGsO_ZS8WW-KUgU.png)

图 3. 在 ViDoRe V3、BRIGHT 和 BrowseComp-Plus 上，平均检索准确性 vs 下游智能体 token 成本（每次查询）。

评估说明：搜索智能体使用 Nemotron 3 Ultra。下游 token 成本根据 Nemotron 3 Ultra 的输入/输出 token 数，使用 GPT-5.5 定价公式估算。

图 3 显示，更强的检索能力降低了下游智能体的 token 成本。更准确的检索器能更早地返回相关证据，帮助智能体以更少的重复搜索和推理轮次完成任务。在这些评估中，Nemotron 3 Embed 模型改进了智能体检索前沿：8B 模型在 ViDoRe V3、BRIGHT 和 BrowseComp-Plus 上同时实现了最高的平均检索准确性和最低的估计下游 token 成本。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#scaling-retrieval-with-nvfp4-on-blackwell 在 Blackwell 上使用 NVFP4 扩展检索能力

对于高吞吐量部署，团队通常选择更小的嵌入模型以满足延迟和成本目标。Nemotron-3-Embed-1B-NVFP4 旨在通过利用 NVIDIA Blackwell 架构 (https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/) 上的原生 NVFP4 加速，缩小服务效率与检索质量之间的差距。该模型将线性层的权重和激活量化为 NVFP4 以实现高效推理，并使用量化感知蒸馏 (QAD) 帮助恢复长输入序列的准确性。

image3 (https://cdn-uploads.huggingface.co/production/uploads/697fa5ae089a7f9330c5078f/R1QHlEFRytVBJcvt8lL9i.png)

图 4. ViDoRe V3 检索准确性与服务效率的对比，比较 Nemotron-3-Embed-1B-NVFP4 与选定的较小开放嵌入基线，包括 Qwen3-Embedding-0.6B 和 EmbeddingGemma-300M。

• 服务效率：Blackwell 上的 NVFP4 在高吞吐量、低延迟检索服务中，吞吐量比 BF16 高出 2 倍。
• 精度保持：NVFP4 变体保留了 BF16 检索准确性的 99% 以上，同时减少了内存占用。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#day-0-performant-nim 即日可用的高性能 NIM

对于生产级检索系统，服务栈还需要在实际请求负载下、针对不同的输入序列长度和硬件目标保持这种效率。为了使 Nemotron 3 Embed 在企业级规模下立即发挥高性能，我们还发布了针对 1B 模型的优化 NVIDIA NIM 微服务。如图 5 所示，基于 Rust 的 Nemotron 3 Embed NIM 在 NVIDIA GB200 和 RTX PRO 6000 GPU 上，在 ISL 为 256 和 1024 的情况下，匹配或优于 vLLM 检查点。

image (https://cdn-uploads.huggingface.co/production/uploads/697fa5ae089a7f9330c5078f/ZFfiQHKsv2surfaCBUCkR.png)

图 5. Nemotron 3 Embed NIM 服务性能与 vLLM 检查点在 NVIDIA GB200 和 RTX PRO 6000 GPU 上的比较。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#how-we-built-the-nemotron-3-embed-models 我们如何构建 Nemotron 3 Embed 模型

Nemotron-3-Embed-8B-BF16 适配了 Ministral-3-8B-Instruct-2512 (https://huggingface.co/mistralai/Ministral-3-8B-Instruct-2512) 骨干网络，将其因果解码器转换为双向编码器以实现全序列检索。该模型通过在网络抓取和合成文本对的混合数据上进行对比预训练，然后在精选的多语言检索数据集（涵盖法律、金融、医疗、商业和教育等领域）上进行微调。这个 8B 模型作为旗舰嵌入模型，而来自同一开发线的早期 8B 教师检查点则用于蒸馏高效的 1B 变体。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#scaling-down-to-1b 缩放到 1B

1B 模型并非从头开始训练的小型检索器。我们首先将双向适配方案应用于 Ministral-3-3B-Instruct-2512 (https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512) 骨干网络，建立了一个 3B 检索器基础，然后通过两轮结构化剪枝和蒸馏进行压缩。

首先，使用 NVIDIA ModelOpt (https://github.com/NVIDIA/Model-Optimizer) 的 mcore_minitron 神经架构搜索引擎，将 3B 父模型压缩到 2B 中间体积。NAS 流程在严格的参数预算下，对隐藏宽度、FFN 大小、注意力头数和深度进行搜索，以确定适用于检索工作负载的高效架构。

然后，将得到的 2B 中间模型从 8B 教师检查点进行蒸馏，以恢复排序准确性。我们使用组合的余弦距离损失和均方误差损失，在多语言、领域内的检索数据混合上，将学生的嵌入与教师对齐。

image1 (https://cdn-uploads.huggingface.co/production/uploads/697fa5ae089a7f9330c5078f/U6hbjPbLo70KwwtbAs2np.png)

图 6. 剪枝和蒸馏流程将检索器从 3B 基础压缩到最终的 1B 生产模型。

同样的序列——ModelOpt 结构化剪枝后跟 8B 教师蒸馏——重复第二次，将 2B 中间模型压缩到最终的 1.14B 嵌入模型。最终训练使用渐进式两阶段上下文缩放调度：

• 阶段 1：专注于在 1024 token 上下文长度下进行广泛的多语言对齐，以重建父模型的核心检索行为。
• 阶段 2：将上下文长度扩展到 4096 token，并添加长上下文合成和推理数据集，帮助 1B 模型在较长输入下保持判别性召回。

下表总结了 Nemotron 3 Embed 模型的核心技术规格和部署目标：

表 2. Nemotron 3 Embed 模型的架构规格和核心推理配置。

https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb#enterprise-partner-evaluations 企业合作伙伴评估

企业 ISV、AI 原生公司和记忆提供商已经在智能体检索、智能体记忆、代码检索和生产推理工作流中评估 Nemotron 3 Embed。

• “上下文是智能体准确性的关键。我们的上下文智能图使用嵌入和语义相似度，为智能体（如我们在 5 月与 NVIDIA 共同推出的 EnterpriseClaw）提供最相关的企业上下文。NVIDIA 新型 Nemotron 3 Embed 模型的早期结果很有希望，特别是在问答方面，它们显示出比我们当前模型的改进。我们对它们进一步提高企业智能体准确性和可靠性的潜力感到兴奋。” —— Adi Kuruganti，Automation Anywhere 首席 AI 与开发官
• “我们对 NVIDIA Nemotron 3 Embed 模型的初步评估显示，在我们的智能体检索用例中，其检索性能强劲。1B 和 8B 变体的可用性使团队能够灵活地平衡不同环境中的质量、延迟和部署需求。我们很高兴继续评估这些模型，并探索它们如何支持生产 AI 应用的高性能检索。” —— Mani Gill，Boomi (https://boomi.com/blog/nvidia-nemotron-3-knowledge-hub) 产品管理高级副总裁
• IBM 在基于 watsonx.data (https://www.ibm.com/products/watsonx-data) 的概念验证中评估了新型 NVIDIA Nemotron Embed 模型，早期结果令人鼓舞。
• Mem0 正在评估 NVIDIA Nemotron 3 Embed 用于其 AI 智能体记忆解决方案，其中嵌入有助于检索相关记忆、关联相关上下文并追踪智能体交互之间的关系。
• Palantir 正与 NVIDIA 合作，评估在边缘检索工作负载中部署 Nemotron 3 Embed。