NVIDIA DeepStream 9.1 现已发布，包含 13 项智能体技能，用于构建视频分析流水线。无需手动从头搭建视觉 AI 流水线，只需用自然语言描述您的需求。配合编码智能体（如 Claude Code 或 Codex）使用这些技能，即可轻松完成设置、配置和执行。新增技能包括用于跨多摄像头跟踪物体的多视角 3D 跟踪（MV3DT），以及用于自动校准摄像头网络的 AutoMagicCalib。此版本还带来了对 Jetson Orin 和 Thor 边缘部署的 NVIDIA JetPack 7.2 支持。全部开源在 GitHub，欢迎查看：https://nvda.ws/4vxQ6Yk

NVIDIA/DeepStream

来源：https://github.com/NVIDIA/DeepStream

DeepStream

NVIDIA DeepStream SDK (https://developer.nvidia.com/deepstream-sdk) 是一个基于 AI 的视频和图像理解流式分析工具包，提供基于 GStreamer 的框架，可在 NVIDIA GPU（dGPU 和 Jetson）上构建多流、多模型推理流水线。DeepStream 流水线结合硬件加速解码/编码、TensorRT 推理、物体跟踪和消息代理集成，在 dGPU 和 Jetson 平台上实现实时视频分析。DeepStream 以统一的 GitHub 仓库发布；源代码需按照项目 LICENSE（文档：CC-BY-4.0；源代码：Apache-2.0）使用。GitHub Release 附件的具体许可详情可参阅 Release Asset License（位于 DeepStream Release Assets 下）。该项目正在积极维护中，但目前不接受代码贡献——更多详情请参阅 Contribution Guidelines。

概述

此仓库包含 DeepStream 9.1 的完整源代码。

组件 (src/)：

• src/gst-plugins/ —— DeepStream GStreamer 插件源代码
• src/utils/ —— 工具库源代码
• src/apps/sample_apps/ —— 基于 GStreamer 的示例应用
• src/apps/reference_apps/ —— 高级参考应用
• src/apps/tao_apps/ —— TAO 模型集成应用
• src/service-maker/ —— Service Maker C++/Python SDK 和应用

工具 (tools/)：

• inference_builder (https://github.com/NVIDIA-AI-IOT/inference_builder/tree/3f0c09f2e3da076cbbb75e17bdebd565b03d1a18) —— 可视化推理流水线构建器
• auto-magic-calib (https://github.com/NVIDIA-AI-IOT/auto-magic-calib/tree/bc5b1d9b3154d4242f147c35754670bc7981d37a) —— 摄像头自动校准工具
• yolo_deepstream —— YOLO + TensorRT 集成
• sam2-onnx-tensorrt —— SAM2 ONNX 转 TensorRT 转换
• deepstream-host-provisioning —— 用于使用完整 NVIDIA 计算栈（驱动、CUDA、cuDNN、TensorRT、Docker）和 DeepStream 依赖项配置 Ubuntu 主机（x86_64 和 ARM SBSA）的 Ansible playbook
• deepstream-otelcol —— 用于流式指标的 OpenTelemetry Collector 设置

AI 智能体技能 (skills/，适用于 Claude Code 及兼容的编码智能体)：

• deepstream-dev —— 通用 DeepStream 开发
• deepstream-generate-pipeline —— 交互式 gst-launch 流水线构建器
• deepstream-profile-pipeline —— Nsight Systems 性能分析和配置推导
• deepstream-sop —— SOP 步骤序列合规微服务
• deepstream-import-vision-model —— 自主视觉模型导入
• deepstream-run-mv3dt —— 在示例或自定义数据集上运行 MV3DT 参考应用
• amc-setup-calibration-stack —— 启动 AutoMagicCalib 微服务和 UI
• amc-run-sample-calibration —— 使用捆绑的示例数据集验证 AMC
• amc-run-video-calibration —— 校准用户提供的 MP4 摄像头视频
• amc-run-rtsp-calibration —— 通过 VIOS 采集校准实时 RTSP 摄像头流

要求

在构建之前，请确保已安装以下先决条件：

• NVIDIA 计算栈 —— 驱动、CUDA、cuDNN 和 TensorRT，版本如下所列。请参阅 DeepStream SDK 安装指南 (https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_Installation.html)。
• DeepStream 9.1 专有运行时 —— 预构建的库和示例数据作为 GitHub Release 附件发布。bash build/build.sh 会在构建过程开始前自动将软件包下载到 artifacts/ 中。

注意： 成功构建后，artifacts/ 会自动删除。传递 --keep-assets 可以保留它们。 SBSA / DGX Spark： SBSA 不支持裸机安装 DeepStream。构建和验证必须在 NVIDIA SBSA Docker 容器内完成，该容器预装了 DeepStream —— 在容器内不需要运行 build/build.sh。如果您修改了开源组件，请在该组件的目录中运行 make && make install 以部署更新的二进制文件/库。请参阅 build/BUILD.md。

快速开始

# 安装 Git LFS（参考应用中 LFS 跟踪的示例媒体需要）
sudo apt-get install git-lfs && git lfs install

# 克隆仓库（包含子模块）
git clone --recurse-submodules https://github.com/NVIDIA/DeepStream.git && cd DeepStream

完整的构建说明请参阅 build/BUILD.md，包括系统软件包依赖项（x86、aarch64、SBSA / DGX Spark）、build/build.sh 的使用和环境变量（CUDA_VER、NVDS_VERSION、INSTALL_METHOD），以及 /opt/nvidia/deepstream/deepstream-9.1/ 下的构建输出位置。

支持的平台

# 构建。脚本仅在安装到系统路径时提示输入 sudo。
bash build/build.sh

用法

运行 bash build/build.sh 后，二进制文件将安装到 /opt/nvidia/deepstream/deepstream-9.1/bin/。使用其中一个示例配置运行参考应用 deepstream-app：

cd /opt/nvidia/deepstream/deepstream-9.1/samples/configs/deepstream-app
deepstream-app -c source30_1080p_dec_infer-resnet_tiled_display.txt

# 首次安装后，如有需要可清除 GStreamer 插件缓存：
rm -rf ~/.cache/gstreamer-1.0/

• 更多示例：DeepStream 快速入门指南 (https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_Quickstart.html#run-deepstream-app-the-reference-application)
• 详细 API 参考：DeepStream SDK 开发者指南 (https://docs.nvidia.com/metropolis/deepstream/dev-guide/)

每个应用必须从其源目录运行，以便相对配置路径正确解析。请参阅每个应用目录中的 README，获取特定应用的运行说明和配置选项。

使用 Triton Inference Server（Docker）运行

可选。 如果上述裸机构建已满足要求，可跳过此步骤。当需要 Triton 支持的推理时，请使用 Triton 容器。在 SBSA / DGX Spark 上，请按上述说明使用 SBSA Docker 容器——不支持裸机安装。

NVIDIA 发布了一个捆绑了 Triton Inference Server 的 DeepStream Docker 镜像。

# 一次性 NGC 登录（从 https://ngc.nvidia.com 获取 API 密钥）
docker login nvcr.io  # 用户名: $oauthtoken, 密码: <API 密钥>

# 拉取镜像（SBSA / DGX Spark 上改用 9.1-triton-arm-sbsa）
docker pull nvcr.io/nvidia/deepstream:9.1-triton-multiarch

# 启动并显示（无头模式请在流水线中使用 'fakesink'）
export DISPLAY=:0 && xhost +
docker run -it --rm --gpus all --network=host \
  -e DISPLAY=$DISPLAY -v /tmp/.X11-unix/:/tmp/.X11-unix \
  nvcr.io/nvidia/deepstream:9.1-triton-multiarch

# 在容器内，运行 Triton 支持的示例
cd /opt/nvidia/deepstream/deepstream-9.1/samples/configs/deepstream-app-triton
deepstream-app -c source30_1080p_dec_infer-resnet_tiled_display.txt

先决条件： Docker (docker-ce)、NVIDIA Container Toolkit (https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html)、NVIDIA 驱动 595+ 以及 NGC API 密钥。Triton 示例模型仓库位于 /opt/nvidia/deepstream/deepstream/samples/triton_model_repo/。如需使用 gRPC 后端的 Triton，请改用 samples/configs/deepstream-app-triton-grpc/。

文档

仓库结构

DeepStream/
├── .claude/                    # Claude Code 项目本地配置（设置、命令）
├── .github/                    # GitHub 工作流、问题模板、CODEOWNERS
├── build/
│   ├── BUILD.md                # 构建说明
│   └── build.sh                # 顶层构建驱动
├── example_prompts/            # AI 编码智能体的示例提示词
├── includes/                   # 共享公共头文件（ds3d、nvdsinferserver 等）
├── scripts/
│   ├── install_artifacts.sh            # 安装专有库 + 示例数据到 /opt
│   ├── install_opensource_deps.sh      # 构建开源依赖项（OpenTelemetry、civetweb 等）
│   ├── install.sh                      # 系统集成（update-alternatives、pyservicemaker）
│   ├── uninstall.sh                    # 从 /opt 移除 DeepStream 安装
│   ├── triton_backend_setup.sh         # 设置 Triton 推理服务器后端
│   ├── prepare_ds_triton_model_repo.sh # 准备 Triton 模型仓库
│   ├── prepare_ds_triton_tao_model_repo.sh # 为 TAO 模型准备 Triton 模型仓库
│   ├── prepare_classification_test_video.sh # 生成分类测试视频
│   ├── rtpmanager/update_rtpmanager.sh # rtpjitterbuffer/rtsp EOS-hang 修复脚本 + 补丁文件
│   └── print_env.sh                    # 用于错误报告的环境诊断辅助工具
├── skills/
│   ├── amc-run-sample-calibration/     # AMC 示例数据集校准技能
│   ├── amc-run-video-calibration/      # AMC 自定义视频校准技能
│   ├── amc-run-rtsp-calibration/       # AMC RTSP 流校准技能
│   ├── amc-setup-calibration-stack/    # AMC 微服务 + UI 启动技能
│   ├── deepstream-dev/                 # 通用 DS 开发技能
│   ├── deepstream-generate-pipeline/   # 交互式 gst-launch 流水线构建器
│   ├── deepstream-profile-pipeline/    # Nsight Systems 性能分析和配置推导
│   ├── deepstream-sop/                 # SOP 步骤序列合规微服务
│   ├── deepstream-import-vision-model/ # 自主视觉模型导入技能
│   └── deepstream-run-mv3dt/           # MV3DT 参考应用操作技能
├── src/
│   ├── apps/                   # 示例、参考和 TAO 示例应用
│   ├── gst-plugins/            # GStreamer 插件源代码（每个插件子目录）
│   ├── gst-utils/              # GStreamer 实用工具库源代码
│   ├── service-maker/          # Service Maker C++/Python SDK 和应用
│   └── utils/                  # 实用工具库源代码（每个库子目录）
├── deepstream_libraries/       # DeepStream 实用程序和辅助库（子模块）
├── deepstream_dockers/         # DeepStream Docker 镜像
└── tools/
    ├── auto-magic-calib/       # 摄像头自动校准工具
    ├── deepstream-otelcol/     # 用于流式指标的 OpenTelemetry Collector 设置
    ├── inference_builder/      # 可视化推理流水线构建器
    ├── deepstream-host-provisioning/ # 用于主机配置的 Ansible playbook（x86_64 和 ARM SBSA）
    ├── sam2-onnx-tensorrt/     # SAM2 ONNX 转 TensorRT 转换
    └── yolo_deepstream/        # YOLO + TensorRT 集成

注意： 之前托管在 NVIDIA-AI-IOT GitHub 组织下的 DeepStream 专属仓库现已整合到此仓库中。下表将现有的 NVIDIA-AI-IOT GitHub 仓库源映射到本仓库中的位置。