Nvidia 发布 Nemotron 3.5 Super VL（5 分钟阅读）

# NVIDIA Nemotron 3.5 Super VL 以多模态推理驱动专业智能体 来源：https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning 全天候运行的智能体正在承担更长、更复杂的企业工作流。一个请求就可能涉及阅读文档、跨来源核查信息、遵循公司政策，以及调用多个工具。 NVIDIA Nemotron 3.5 Super VL 是一款开放、可定制的多模态模型，专为这些专业化工作流而设计。其 120B 参数的混合专家（MoE）（https://www.nvidia.com/en-us/glossary/mixture-of-experts/） 架构每个 token 仅激活 12B 参数，在模型容量与推理效率之间实现了良好平衡。 在单块 GPU 上，该模型在智能体任务中的吞吐量最高可达同级别其他开放模型（https://www.nvidia.com/en-us/glossary/open-models/） 的 5 倍。 散点图对比了在 100K 输入 token 条件下，各开放权重模型的 Artificial Analysis Intelligence Index 分数与输出速度。Nemotron 3.5 Super VL 的输出速度超过 600 token/秒；图表中标注了与 Inkling Small 的 5 倍速度对比。*图 1. Nemotron 3.5 Super VL 在 Baseten 端点上于 Artificial Analysis Intelligence Index 智能体任务中达到 600 以上 TPS* 该模型将推理、指令遵循和工具使用能力与文本、图像、文档和视频理解相结合。通过将这些能力整合到一个模型中，团队无需分别部署文本模型和视觉-语言模型（https://www.nvidia.com/en-us/glossary/vision-language-models/），也无需在模型之间传递任务上下文，即可同时处理文本和视觉任务。 开发者可以使用 NVIDIA NeMo（https://www.nvidia.com/en-us/ai-data-science/products/nemo/get-started/）利用自有数据、工具、政策和工作流对 Nemotron 3.5 Super VL 进行后训练。本文将介绍如何在此基础上构建专业化的企业智能体，并阐述支撑其运行的训练与推理技术。 ## 为什么选择 Nemotron 3.5 Super VL 来构建专业智能体？ 智能体不仅需要理解任务本身，还需要理解其运行环境。客服智能体必须遵循公司的退货政策；研究智能体需要跨来源关联证据；文档智能体则需要解析表格、图表和页面布局。 Nemotron 3.5 Super VL 将推理与视觉理解能力结合，适用于多种智能体工作流，包括： - **代码开发：** 测试和验证代码、分析错误并推荐修复方案。 - **网络研究：** 跨网站搜索、关联信息并验证答案。 - **文档智能：** 从表格、图表和页面布局中提取信息，生成摘要和报告。 - **网络安全：** 识别安全漏洞并对威胁进行分级，以便优先处置。 - **视频理解：** 为搜索、内容审核和事件分析提取信息。 在多模型协同的系统中，Nemotron 3.5 Super VL 负责处理需要同时结合推理、工具使用以及文本和视觉理解的专业化多步任务。较小的模型（如 NVIDIA Nemotron 3.5 Lightning（https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/)）负责高吞吐量的文本任务，而前沿模型（如 NVIDIA Nemotron 3 Ultra（https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/)）则承担复杂的规划与编排任务。 ## 针对领域数据、工具和政策定制 Nemotron 3.5 Super VL 专业化智能体必须学会组织的运作方式。领域术语、工具接口、操作流程和政策要求都直接影响智能体能否成功完成任务。 从网络安全、金融到医疗健康等多个行业的组织，正在对 Nemotron 3.5 Super VL 进行后训练，使其在各自生产工作流中的准确率和效率超越前沿模型。例如： - AI 数据与技术提供商 Scale AI 为媒体娱乐公司 Skydance Corporation 后训练了 Nemotron 3.5 Super VL，用于自动化处理供应商信贷。该工作负载的推理成本将降低 40 倍，延迟降低 5 倍。 - 金融运营平台提供商 Ramp 正利用该模型将收据图像转换为包含商家信息、日期和支付数据的结构化 JSON。Ramp 预计吞吐量将提升 50%，延迟降低 10 倍。 - AI21 和 Alice 对 Nemotron 3.5 Super VL 进行了后训练，用于威胁情报和漏洞分析，准确率提升了 41%。 该图表对比了定制版 Nemotron 3.5 Super VL 与开箱即用版本及其他基准模型在其各自智能体工作流中的准确率。*图 2. 经过后训练的 Nemotron 3.5 Super VL 在各行业专业化任务中取得了领先的性能* 团队可以使用 NVIDIA NeMo 开源库对模型进行后训练以满足上述需求。开发者可以使用 NVIDIA NeMo AutoModel（https://github.com/NVIDIA-NeMo/Automodel/blob/main/docs/guides/vlm/nemotron-3-5-super-vl.mdx）进行监督微调（SFT）和低秩适配（LoRA），以教会模型领域特定的行为。强化学习（https://www.nvidia.com/en-us/glossary/reinforcement-learning/)（RL）则可提升模型在反映组织工作流的智能体环境中的表现。 NVIDIA 还在 Hugging Face 上同步发布了多个开放数据集，涵盖智能体工具使用与对话数据、金融推理与工具调用数据集、指令遵循与聊天数据、长上下文转换与翻译数据、公平性数据以及 40 个视觉-语言数据集。这些数据集可用于补充 SFT 和 RL 所需的私有数据。 对于多模态数据，可以从 NeMo Data Designer（https://docs.nvidia.com/nemo/datadesigner/getting-started/welcome）提供的资源入手，包括图表问答（https://docs.nvidia.com/nemo/datadesigner/recipes/chart-qa/chart-question-answering）和长文档理解（https://docs.nvidia.com/nemo/datadesigner/dev-notes/vlm-long-document-understanding）。探索 NVIDIA NeMo RL（https://github.com/NVIDIA-NeMo/RL）和 NVIDIA NeMo Gym（https://github.com/NVIDIA-NeMo/Gym）可实现 RL 训练和基于环境的评估。 组织可以在受支持的本地、数据中心或云端环境中适配并部署该模型的开放权重，以满足自身的基础设施和数据需求。定制资源请参阅 GitHub 上的 Nemotron 3.5 Super VL 使用手册（https://github.com/NVIDIA-NeMo/Nemotron/tree/main/usage-cookbook/Nemotron-3.5-Super-VL）。 ## 在一个工作流中结合文本与视觉理解 Nemotron 3.5 Super VL 将文本、图像、文档和视频理解与推理、指令遵循能力相结合，能够跨多种输入形式回答问题。 其视觉训练涵盖图表、表格、光学字符识别（OCR）、多页文档和视频理解。两阶段 SFT 流水线分别训练语言和视觉组件，将视觉证据与推理、对话、安全、长上下文数据和智能体轨迹相结合。 在文档智能场景中，同一个模型可以解读图表、将其与文档中其他位置的表格进行关联，并对两者进行总结。开发者可以根据自有文档和评估标准定制工作流。 利用 NeMo Data Designer（https://docs.nvidia.com/nemo/datadesigner/getting-started/welcome）生成的多样化训练数据帮助模型更好地理解复杂图表。在图表推理基准 CharXiv 上，该模型得分为 80.8%，而 Nemotron 3 Nano Omni（https://developer.nvidia.com/blog/nvidia-nemotron-3-nano-omni-powers-multimodal-agent-reasoning-in-a-single-efficient-open-model/） 为 63%。借助 Python 代码解释，得分进一步达到 84%。如需了解方法论和实践经验，请参阅图表理解深入解析（https://docs.nvidia.com/nemo/datadesigner/dev-notes/chart-understanding）和开源图表问答流水线（https://docs.nvidia.com/nemo/datadesigner/recipes/chart-qa/chart-question-answering）。 该模型的构建得到了 Nemotron 联盟（http://nvidianews.nvidia.com/news/nvidia-launches-nemotron-coalition-of-leading-global-ai-labs-to-advance-open-frontier-models）成员组织的支持与专业经验。例如，来自 Perplexity 的高质量数据集帮助改进和精简了模型的中期训练过程；来自 Prime Intellect 的环境则助力构建了更好的教师模型。 Nemotron 3.5 Super VL 还是 OCRBench v2 排行榜（https://99franklin.github.io/ocrbench_v2/）上排名最高的开放模型之一。 ## 智能体任务中的准确率与效率 对 Nemotron 3.5 Super VL 的评测涵盖了 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude。除了编程任务外，智能体框架提供商还使用各自自有评测对广泛的智能体任务进行测试。在 Hermes Bench 和 LangChain 行为评测中，Nemotron 3.5 Super VL 的得分均高于 Nemotron 3 Ultra。 | 模型 | **Hermes Bench**（https://portal.nousresearch.com/bench） | **LangChain Evals**（https://github.com/langchain-ai/deepagents/tree/main/libs/evals） | |---|---|---| | Nemotron 3 Ultra | 56.33% | 84.3% | | Nemotron 3.5 Super VL | 63.44% | 87.05% | *表 1. Nemotron 3.5 Super VL 在 Hermes Bench 和 LangChain 评测中得分高于 Nemotron 3 Ultra* 对于全天候运行的智能体而言，效率决定了单次部署能完成多少工作。吞吐量、token 用量、工具调用次数以及达到正确结果所需的步骤数，都会影响任务完成时间。 该图表展示了在 NVIDIA B200 GPU 上完成 10,000 个任务时，编程准确率与任务完成时间的对比。比较了同级别不同开放模型完成任务所需的时间。Nemotron 3.5 Super VL 完成任务的速度最快。*图 3. Nemotron 3.5 Super VL 凭借更高的吞吐量和 token 效率，实现了 4 倍的任务完成速度提升* 该模型还针对 NVIDIA DGX Spark（https://www.nvidia.com/en-us/products/workstations/dgx-spark/） 的本地运行进行了优化。EXO Labs 的独立评测将 Nemotron 3.5 Super VL 评定为在准确率和任务完成时间方面处于帕累托前沿。 该图表展示了在 DGX Spark 上智能体任务的准确率与任务完成度的对比。Nemotron 3.5 Super VL 与多种不同规模的开放模型进行了比较，这些模型均可在单台 128GB 的 DGX Spark 上运行。Nemotron 3.5 Super VL 位于效率帕累托曲线的前沿。*图 4. Nemotron 3.5 Super VL 在 DGX Spark 上实现了智能体任务准确率与速度的良好平衡* ## Nemotron 3.5 Super VL 背后的技术 该模型在坚实的基础之上，采用了混合架构、推测解码、上下文重用和混合精度等技术，以减少重复智能体调用中的推理开销。 ### 构建强大的基础模型 Nemotron 3.5 Super VL 蒸馏自 Nemotron 3 Ultra。Ultra 的编程能力与蒸馏过程中使用的 SkewReverse 损失函数相结合，帮助提升了编程准确率。 在后训练阶段，多教师在线策略蒸馏（MOPD）融合了来自文本和视觉领域多个专业教师模型的指导。模型生成响应后，教师模型针对视频推理与跟踪、视觉工具使用和对齐性进行评分。 在智能体行为示例、代码仓库和软件工程任务上的额外训练，进一步提升了模型在智能体任务上的表现。Nemotron 3.5 Super VL 在多种评测配置下的 SWE-bench 和 Terminal-Bench 中均超越了 Nemotron 3 Super。 使用高质量自然数据和合成数据进行的持续预训练，提升了印度语言能力，并为后训练后的整体得分提升做出了贡献。该阶段增加了 10B 印度语言 token，取自 Nemotron-pretraining-Indic-v1 的 12 种语言子集和自然印度语文本。 NVIDIA 正在发布完整的数据集，涵盖 22 种印度语言，约 2.8T token，由 IIT Madras 及其 AI4Bharat 实验室共同开发。以下结果均基于经过后训练的 Nemotron 3.5 Super VL。 分组柱状图对比了 Sarvam-105B、Gemma-4-31B-It 和经过后训练的 Nemotron 3.5 Super VL 在 MILU 1.5、Indic GPQA、Indic AIME、Indic FrontierMath 和 Indic MBPP 上的表现。Nemotron 3.5 Super VL 在所有五个基准中均得分最高，在 Indic FrontierMath 上领先幅度最大。*图 5. 得益于专用印度语言数据，Nemotron 3.5 Super VL 在印度语言基准上取得了领先的准确率* 开发者可以使用 NeMo 在此基础上进行构建，并针对自身应用定制 Nemotron 3.5 Super VL，使其推理和智能体能力适配各自的数据、工具和工作流。 ### LiLiCorr：一种开放的推测解码技术 LiLiCorr 通过在整个草稿序列上联合评估 token 候选，改进了并行推测解码，能够捕捉独立 token 预测所忽略的依赖关系。一个轻量级网络以单次前向传播计算兼容性分数，生成更加连贯的草稿，仅留下一个低成本的顺序最终选择步骤。 在 DGX Spark 上，LiLiCorr 是低延迟推理 Nemotron 3.5 Super VL 的推荐草稿器。与不使用推测的解码相比，其 token 生成速度最高可提升 2.3 倍。 ### NVFP4 与混合精度 该模型使用 NVIDIA Model Optimizer（https://github.com/NVIDIA/Model-Optimizer）进行后训练量化和量化感知蒸馏（QAD）。NVFP4 方案在 NVIDIA Blackwell 架构（https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/） 上采用 4 位权重和 4 位激活。同一检查点在非 Blackwell 平台上以 4 位权重和 16 位激活运行。针对敏感组件会单独选择精度。 NVFP4 缩小了模型体积，QAD 则帮助模型在较低精度下保持准确率。在 QAD 过程中，量化模型学习匹配原始 BF16 模型的输出，从而弥合量化带来的准确率差距。QAD 还支持将键值（KV）缓存以 NVFP4 格式存储（而非 FP8），同时仍能满足准确率目标。由于 QAD 在训练阶段完成，因此不会增加推理开销。 ### 多 token 预测 多 token 预测（MTP）为 Nemotron 3.5 Super VL 提供了一个内置草稿器，可以一次前向传播中为多个 token 生成候选，供主模型验证。一次接受多个 token 可以减少计算步数，从而提升推理效率。