nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face

来源: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 主页 | Discord | 论文 | 博客 | 许可 图片

描述

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 是一个小型语言模型（SLM），由 NVIDIA 在 Gemma-4-E4B-it 基础上进一步后训练得到。Nemotron-3.5-Bolt-E4B 延续了 Gemma 强大的对话能力，并进一步提升了多轮工具调用、指令遵循和输入接地能力，专为快速本地语音/设备助手、交互式角色扮演和嵌入式/边缘接口设计。该模型针对低内存、低首 token 延迟（TTFT）进行优化，让智能体能够快速响应，同时为应用程序或相邻模型管线保留充足的资源空间。

演示

如需使用推测解码（speculative decoding），请搭配 DFlash drafter 使用。全精度（BF16）版本请参见 NVIDIA-Nemotron-3.5-Bolt-E4B-BF16。

本模型可用于商业或非商业用途。

模型摘要

模型概述

模型开发者： NVIDIA Corporation

模型时间范围： 2025 年 12 月 - 2026 年 5 月

数据新鲜度：

• 后训练数据的截止日期为 2026 年 5 月。

什么是 Nemotron？

NVIDIA Nemotron™ 是一系列开放模型，提供开放权重、训练数据和训练方案，为构建专用 AI 智能体带来领先的效率和准确性。

快速开始

export MODEL_REPO=nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB
export MODEL_FILE=Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf
export DRAFTER_REPO=nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash
export DRAFTER_FILE=Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf
export MODEL_DIR="$PWD/bolt-models"

hf download "$MODEL_REPO" "$MODEL_FILE" \
  --local-dir "$MODEL_DIR"

hf download "$DRAFTER_REPO" "$DRAFTER_FILE" \
  --local-dir "$MODEL_DIR"

不使用 drafter

docker run --rm --gpus all \
  -p 8000:8000 \
  -v "$MODEL_DIR:/models:ro" \
  ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
  -m "/models/$MODEL_FILE" \
  --alias nemotron-bolt \
  --host 0.0.0.0 \
  --port 8000 \
  -c 65536 \
  -ngl 999 \
  --jinja

使用 DFlash drafter

docker run --rm --gpus all \
  -p 8000:8000 \
  -v "$MODEL_DIR:/models:ro" \
  ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
  -m "/models/$MODEL_FILE" \
  --spec-draft-model "/models/$DRAFTER_FILE" \
  --spec-type draft-dflash \
  --spec-draft-n-max 7 \
  --spec-draft-ngl 999 \
  --alias nemotron-bolt \
  --host 0.0.0.0 \
  --port 8000 \
  -c 65536 \
  -ngl 999 \
  --jinja

curl --fail-with-body -sS \
  http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "nemotron-bolt",
    "messages": [
      {"role": "user", "content": "17 乘以 23 等于多少？"}
    ],
    "temperature": 0.0,
    "max_tokens": 512,
    "chat_template_kwargs": {
      "enable_thinking": true
    }
  }'

有关部署和使用模型的更多细节，请参阅下方的 快速入门指南！

许可 / 使用条款

适用条款： 本模型的使用受 OpenMDW 许可协议 1.1 版 管辖。本模型在 Google Gemma 4 模型基础上进行后训练，Google Gemma 4 模型的使用受 Apache License, Version 2.0 管辖。

基准测试

推理基准评估

我们在以下基准上评估了我们的模型：

说明：

• 除 RoleBench、EQ-Bench v3 和 RULER 外，所有评估均在推理模式下进行。
• 加粗表示每行中对应精度组（BF16 和 Q4_K_M）内的最高分。并列最高分均以加粗标注。
• 准确率数据由 NVIDIA 在统一测试环境 NeMo Gym 下测得；可能与厂商自行报告的数据存在差异。

部署地域：全球

用例

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 专为快速本地语音和设备助手、交互式角色扮演以及嵌入式接口设计，重点强化了多轮工具调用、指令遵循和输入接地能力。

发布日期

• Hugging Face：2026/10/23，通过 https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB
• Build.NVIDIA.com：2026/10/23，通过 https://build.nvidia.com/nvidia/nemotron-3.5-bolt-e4b

参考资料

• Hugging Face 上的 NVIDIA Nemotron 3 系列模型：链接
• NVIDIA Nemotron 3.5 Bolt E4B 4GB 技术报告：链接
• NVIDIA Nemotron 3.5 Bolt E4B 4GB 技术博客：链接

模型架构

• 架构类型： Gemma 4
• 网络架构： Gemma-4-E4B
• 模型参数量： 8B（40 亿有效参数）

模型设计

该模型在 Gemma-4-E4B-it 基础上进行进一步后训练。

训练方法

强化学习

• 模型采用 GRPO（Group Relative Policy Optimization，组相对策略优化）在多个环境中进行强化学习，涵盖指令遵循、多步工具调用、多轮对话和结构化输出等环境。采用异步强化学习架构，将训练与推理解耦。
• 强化学习所使用的软件：NeMo RL、NeMo Gym

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 是上述工作的成果。

输入

• 输入类型： 文本
• 输入格式： 字符串
• 输入参数： 一维（1D）序列
• 其他输入相关属性： 最大上下文长度可达 64K tokens。支持的语言包括英语、西班牙语、法语、德语、意大利语、日语等。

输出

• 输出类型： 文本
• 输出格式： 字符串
• 输出参数： 一维（1D）序列
• 其他输出相关属性： 最大上下文长度可达 64K tokens

我们的 AI 模型旨在/经过优化以在 NVIDIA GPU 加速系统上运行。通过利用 NVIDIA 的硬件（如 GPU 核心）和软件框架（如 CUDA 库），模型相较于纯 CPU 方案可实现更快的训练和推理速度。

软件集成

• 运行时引擎： PyTorch
• 支持的硬件微架构： NVIDIA Ampere - A100；NVIDIA Blackwell；NVIDIA Hopper - H100-80GB
• 支持的操作系统： Linux

将基础模型和微调模型集成到 AI 系统中，需要使用特定用例数据进行额外的测试，以确保安全部署和有效运行。遵循 V 模型方法论，在单元和系统层面进行迭代测试和验证至关重要，以降低风险、满足技术和功能要求，并在部署前确保符合安全和伦理标准。

模型版本

• GA（正式版，2026/10/23）

快速入门指南

export MODEL_REPO=nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB
export MODEL_FILE=Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf
export DRAFTER_REPO=nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash
export DRAFTER_FILE=Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf
export MODEL_DIR="$PWD/bolt-models"

hf download "$MODEL_REPO" "$MODEL_FILE" \
  --local-dir "$MODEL_DIR"

hf download "$DRAFTER_REPO" "$DRAFTER_FILE" \
  --local-dir "$MODEL_DIR"

不使用 drafter

docker run --rm --gpus all \
  -p 8000:8000 \
  -v "$MODEL_DIR:/models:ro" \
  ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
  -m "/models/$MODEL_FILE" \
  --alias nemotron-bolt \
  --host 0.0.0.0 \
  --port 8000 \
  -c 65536 \
  -ngl 999 \
  --jinja

使用 DFlash drafter

docker run --rm --gpus all \
  -p 8000:8000 \
  -v "$MODEL_DIR:/models:ro" \
  ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
  -m "/models/$MODEL_FILE" \
  --spec-draft-model "/models/$DRAFTER_FILE" \
  --spec-type draft-dflash \
  --spec-draft-n-max 7 \
  --spec-draft-ngl 999 \
  --alias nemotron-bolt \
  --host 0.0.0.0 \
  --port 8000 \
  -c 65536 \
  -ngl 999 \
  --jinja

curl --fail-with-body -sS \
  http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "nemotron-bolt",
    "messages": [
      {"role": "user", "content": "17 乘以 23 等于多少？"}
    ],
    "temperature": 0.0,
    "max_tokens": 512,
    "chat_template_kwargs": {
      "enable_thinking": true
    }
  }'

API 客户端

以下示例使用 OpenAI 兼容的客户端，可与上述服务后端配合使用。在启用和禁用思考模式下，推荐的采样参数均为 Temperature 1.0 和 Top_P 0.95。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
MODEL = "nemotron-bolt"

Bolt-E4B 通过 chat template kwargs 暴露推理控制：启用思考（默认）、禁用思考以直接回答，以及运行时思考预算。

启用推理

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "写一首关于 GPU 的俳句"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={
        "skip_special_tokens": False,
        "chat_template_kwargs": {"enable_thinking": True},
    }
)
print(response.choices[0].message.content)

禁用推理

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "日本的首都是哪里？"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={
        "skip_special_tokens": False,
        "chat_template_kwargs": {"enable_thinking": False},
    }
)
print(response.choices[0].message.content)

流式输出

stream = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "用两句话解释推测解码"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    stream=True,
    extra_body={"skip_special_tokens": False},