@NVIDIAAI 推出的 Nemotron 3.5 Super VL 为 Deep Agents 带来了视觉、推理和工具调用能力，现已登陆 ChatNVIDIA。开放权重。1200 亿参数，120 亿活跃参数。Nemotron 3.5 Super VL 在我们的 Deep Agents 行为测试套件中平均通过率达 87%。速度同样出色。在我们的 Harbor-lite 基准测试中：总任务耗时比 DeepSeek V4.1 Flash 减少 55%，成功率相当。

ChatNVIDIA 集成 - LangChain 文档

来源：https://docs.langchain.com/oss/python/integrations/chat/nvidia_ai_endpoints

本文将帮助你开始使用 NVIDIA 聊天模型（https://docs.langchain.com/oss/python/langchain/models）。如需了解所有 ChatNVIDIA 功能和配置的详细文档，请前往 API 参考。

概述

langchain-nvidia-ai-endpoints 包包含了 LangChain 对 NVIDIA AI Foundation Models 提供的聊天模型和嵌入模型的集成，这些模型托管在 NVIDIA API Catalog 上。

一个很好的起点是 Nemotron——NVIDIA 专为 agentic AI 打造的开源模型系列。Nemotron 模型采用混合 Mamba-Transformer 混合专家（MoE）架构，提供领先的精度，吞吐量最高可达同类模型的 3 倍，上下文窗口最高达 100 万 token。模型权重、训练数据和实现方案均在 NVIDIA Open Model License 下公开发布。

NVIDIA AI Foundation 模型运行在 NIM 微服务上：通过 NVIDIA NGC Catalog 分发的容器镜像，提供标准的 OpenAI 兼容 API，并使用 TensorRT-LLM 进行优化以实现最大吞吐量。可以通过托管的 NVIDIA API Catalog 访问，或凭 NVIDIA AI Enterprise 许可证在本地部署。

本页介绍如何通过 ChatNVIDIA 使用 LangChain 与 NVIDIA 模型交互，包括 Nemotron 及 API Catalog 中的其他模型。有关通过此 API 访问嵌入模型的更多信息，请参阅 NVIDIAEmbeddings 文档。

集成详情

模型功能

安装包

访问 NVIDIA API Catalog

要获得 NVIDIA API Catalog 的访问权限，请按以下步骤操作：

1. 在 NVIDIA API Catalog 上创建免费账户并登录。
2. 点击你的个人资料图标，然后点击 API Keys。API Keys 页面将显示。
3. 点击 Generate API Key。Generate API Key 窗口将显示。
4. 点击 Generate Key。你应该会看到 API Key Granted，你的密钥将显示。
5. 复制并保存密钥为 NVIDIA_API_KEY。
6. 使用以下代码验证你的密钥。

你现在可以使用该密钥访问 NVIDIA API Catalog 上的端点。

要启用模型调用的自动追踪，请设置你的 LangSmith API 密钥：

实例化

现在我们可以访问 NVIDIA API Catalog 中的模型了。Nemotron 模型是 agentic 和推理工作负载的推荐起点：

API Catalog 中的任何其他模型都可以通过传入其模型 ID 来使用：

调用

启用思考模式

部分 NVIDIA 推理模型支持可配置的思考模式。通过向 invoke 传入 thinking_mode=True 为单次请求启用思考：

当你想获得一个启用了思考模式的可复用 runnable 时，使用 with_thinking_mode：

要列出已知支持思考模式的模型，调用 get_available_models 并检查 supports_thinking。这会查询 NVIDIA 模型列表 API，然后过滤返回的模型元数据：

ChatNVIDIA 将 thinking_mode=True 转换为所选模型所需的控制机制。部分模型使用请求参数，如 chat_template_kwargs={"enable_thinking": True}。其他模型使用基于提示的控制，LangChain 会向系统消息追加模型特定的思考前缀，或在不存在系统消息时创建一个。如果模型同时配置了两种机制，请求参数优先。

不要在构造 ChatNVIDIA 时传入 thinking_mode=True。 未知的构造参数会变成原始的 model_kwargs，直接合并到 API 负载中。思考模式的转换仅对调用时的 kwargs 或绑定的 kwargs 生效，因此请使用以下方式之一：

使用 Nemotron 3.5 Super VL

Nemotron 3.5 Super VL 通过 ChatNVIDIA 接受文本和图像输入。可用于聊天、结构化输出，或作为深度智能体中的模型。

以下示例使用连接器注册的模型 ID、8,192 token 的补全限制，并显式启用思考：

返回结构化输出

向 with_structured_output 传入 JSON schema，将响应解析为字典：

要在该结构化输出 runnable 中禁用思考，请在调用 with_structured_output 之后绑定请求参数：

描述图像

编码一个本地 PNG 文件，并将其包含在标准图像内容块中。将 photo.png 替换为你的图像路径：

与 Deep Agents 一起使用

Deep Agents 提供内置的智能体循环和工具。安装 deepagents，然后将 super_model 传递给 create_deep_agent：

此示例使用没有特定模型配置文件的默认 Deep Agents 框架。要向智能体询问图像信息，复用图像示例中的 message：

对于终端编码智能体，请按照 Deep Agents Code NVIDIA Build 配置指南操作。

使用 NVIDIA NIM 微服务自托管

当你准备部署 AI 应用时，可以使用 NVIDIA NIM 自托管模型。更多信息请参阅 NVIDIA NIM 微服务。

以下代码连接到本地托管的 NIM 微服务。

流式传输、批处理和异步

这些模型原生支持流式传输，且与所有 LangChain LLM 一样，它们提供批处理方法以处理并发请求，以及用于调用、流式传输和批处理的异步方法。以下是一些示例。

支持的模型

查询 available_models 仍会返回你的 API 凭证所提供的所有其他模型。playground_ 前缀是可选的。

模型类型

上述所有模型均受支持，可通过 ChatNVIDIA 访问。部分模型类型支持独特的提示技术和聊天消息。我们将在下面介绍几个重要的模型。

要了解特定模型的更多信息，请导航至 AI Foundation 模型的 API 部分。

Nemotron 模型 — 为 Agentic AI 打造

Nemotron 是 NVIDIA 专为 agentic 工作流打造的开源模型系列。关键特性：

• 高效：混合 Mamba-Transformer MoE 架构，吞吐量最高可达同类稠密模型的 3 倍
• 长上下文：原生支持最高 100 万 token 的上下文窗口
• Agentic 推理：专门针对多步规划、工具调用和自主软件工程任务进行训练
• 开源：权重、训练方案和精选数据集均在 NVIDIA Open Model License 下发布

通用聊天

如 meta/llama3-8b-instruct 和 mistralai/mixtral-8x22b-instruct-v0.1 等模型是优秀的通用模型，可用于任何 LangChain 聊天消息。示例如下。

代码生成

这些模型接受与普通聊天模型相同的参数和输入结构，但在代码生成和结构化代码任务上表现更佳。一个示例是 meta/codellama-70b。

多模态

NVIDIA 还支持多模态输入，即你可以为模型提供图像和文本进行推理。一个支持多模态输入的示例模型是 nvidia/neva-22b。

以下是一个使用示例：

以 URL 形式传入图像

以 base64 编码字符串形式传入图像

目前，对于较大的图像（如上例），会进行一些额外的客户端处理。但对于较小的图像（也为了更好地展示底层处理过程），我们可以直接传入图像，如下所示：

直接在字符串中

NVIDIA API 独特地支持在 `` 标签内内联 base64 图像。虽然这与其他 LLM 不兼容，但你可以直接以这种方式提示模型。

在 RunnableWithMessageHistory 中使用

与其他任何集成一样，ChatNVIDIA 可以很好地支持 RunnableWithMessageHistory 等聊天工具，这类似于使用 ConversationChain。下面展示的是将 LangChain RunnableWithMessageHistory 示例应用于 mistralai/mixtral-8x22b-instruct-v0.1 模型。

从 v0.2 开始，ChatNVIDIA 支持 bind_tools。ChatNVIDIA 提供了与 build.nvidia.com 上各种模型以及本地 NIM 的集成。并非所有模型都经过工具调用训练，请确保选择支持工具调用的模型用于你的实验和应用。

你可以获取已知支持工具调用的模型列表：

对于具备工具调用能力的模型：

参见如何使用聊天模型调用工具获取更多示例。

与 NVIDIA Dynamo 一起使用

NVIDIA Dynamo 是一个分布式推理服务框架，专为在数据中心规模的多节点环境中部署模型而构建。它通过将推理的各个阶段分布在不同的 GPU 上、智能路由请求到合适的 GPU 以避免冗余计算、以及通过数据缓存将 GPU 内存扩展到经济高效的存储层，简化并自动化了分布式服务的复杂性。

ChatNVIDIADynamo 是 ChatNVIDIA 的直接替代品，会自动向每个请求注入 nvext.agent_hints。这些提示告诉 Dynamo 部署：

• osl（输出序列长度）— 预期的 token 数量，以便调度器规划内存分配
• iat（到达间隔时间）— 请求到达的速度，以便路由器预判负载
• latency_sensitivity— 请求对延迟的敏感程度，使交互式调用获得优先路由
• priority— 请求优先级，使后台工作可以为关键路径请求让路

每个请求会自动生成唯一的 prefix_id，使路由器能够跟踪 KV 缓存亲和性。

基本用法

将 ChatNVIDIA 替换为 ChatNVIDIADynamo，每个请求将自动包含路由提示。所有标准 ChatNVIDIA 参数均受支持。

ChatNVIDIADynamo 在 ChatNVIDIA 支持的参数之外，还接受四个额外参数：

在构造时设置默认值

在创建模型实例时配置 Dynamo 提示。当模型实例始终服务于特定角色时，这非常有用，例如高优先级交互式助手与低优先级后台摘要器。

在调用时覆盖

Dynamo 参数也可以在每次调用时覆盖。当同一模型实例处理具有不同特性的请求时，这非常有用。

使用 Dynamo 提示进行流式传输

Dynamo 提示包含在初始流式请求中。Dynamo 使用这些提示在 token 开始流动之前选择最优的工作节点。

检查负载

为了调试，可以使用内部的 _get_payload 方法检查 ChatNVIDIADynamo 发送到 NIM 端点的确切负载。这会输出 nvext.agent_hints 部分：

API 参考

如需了解所有 ChatNVIDIA 功能和配置的详细文档，请前往 API 参考。

• langchain-nvidia-ai-endpoints 包 README
• Nemotron 模型系列 — NVIDIA 为 Agentic AI 打造的开源模型
• NVIDIA API Catalog — 浏览和试用所有可用模型
• NVIDIA NIM 大语言模型 (LLM) 概述
• NeMo Retriever Embedding NIM 概述
• NeMo Retriever Reranking NIM 概述
• NVIDIAEmbeddings 模型用于 RAG 工作流
• NVIDIA 提供者页面
• 使用 NVIDIA OpenShell 的沙箱智能体
• 后训练智能体工作流
• NVIDIA Dynamo — 开源推理框架
• Dynamo 快速入门指南 — 启动本地部署
• KV 缓存感知路由 — 智能路由器的工作原理