从 RTX 到 Spark：NVIDIA 加速 Gemma 4 赋能本地智能体 AI

NVIDIA Blog 2026/04/02 16:15 新闻

nvidia gemma-4 local-ai edge-computing gpu-optimization agentic-ai open-models

摘要

NVIDIA 与谷歌合作优化 Gemma 4 模型，以实现在 RTX GPU、DGX Spark 和 Jetson 设备上的本地部署，从而支持高效的端侧智能体 AI，具备推理、编程、多模态能力以及 35 多种语言的支持。

<div id="bsf_rt_marker"></div>开源模型正推动一波新的端侧 AI 浪潮，将创新从云端延伸至日常设备。 针对这一趋势，Google 最新推出的 Gemma 4 家族成员引入了小巧、快速且全能的新模型系列，专为在各类设备上高效本地运行而打造。 Google 与 NVIDIA 携手优化了 Gemma 4 对 NVIDIA GPU 的适配，使其能在各类系统中实现高效性能——从数据中心部署，到搭载 NVIDIA RTX 的 PC 和工作站，再到 <a target="_blank" href="https://www.nvidia.com/en-us/products/workstations/dgx-spark/">NVIDIA DGX Spark</a> 个人 AI 超级计算机以及 <a target="_blank" href="https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-nano/product-development/">NVIDIA Jetson Orin Nano</a> 边缘 AI 模块。 <h2>Gemma 4：为 NVIDIA GPU 优化的紧凑模型 </h2> 开源模型 Gemma 4 家族的最新成员——涵盖 E2B、E4B、26B 和 31B 等多种版本——专为从边缘设备到高性能 GPU 的高效部署而设计。 <figure id="attachment_92036" aria-describedby="caption-attachment-92036" style="width: 1149px" class="wp-caption aligncenter"><a href="https://blogs.nvidia.com/wp-content/uploads/2026/04/gemma-4-perf-chart-desktop-light-1.png"><img loading="lazy" decoding="async" class="size-full wp-image-92036" src="https://blogs.nvidia.com/wp-content/uploads/2026/04/gemma-4-perf-chart-desktop-light-1.png" alt="" width="1149" height="489" srcset="https://blogs.nvidia.com/wp-content/uploads/2026/04/gemma-4-perf-chart-desktop-light-1.png 1149w, https://blogs.nvidia.com/wp-content/uploads/2026/04/gemma-4-perf-chart-desktop-light-1-960x409.png 960w, https://blogs.nvidia.com/wp-content/uploads/2026/04/gemma-4-perf-chart-desktop-light-1-630x268.png 630w" sizes="auto, (max-width: 1149px) 100vw, 1149px" /></a><figcaption id="caption-attachment-92036" class="wp-caption-text">所有配置均在 NVIDIA GeForce RTX 5090 和 Mac M3 Ultra 桌面上使用 Q4_K_M 量化（BS = 1，ISL = 4096，OSL = 128）进行测试。Token 生成吞吐量基于 llama.cpp b7789，使用 llama-bench 工具测量。</figcaption></figure> 这一代紧凑模型支持多种任务，包括： <ul> <li>推理：在复杂问题解决任务中表现强劲。 </li> <li>编程：面向开发者工作流的代码生成与调试。 </li> <li>智能体：原生支持结构化工具调用（函数调用）。 </li> <li>视觉、视频与音频能力：支持丰富的多模态交互，用于物体识别、自动语音识别以及文档或视频智能分析。 </li> <li>交错式多模态输入：在单个提示词中按任意顺序混合输入文本与图像。 </li> <li>多语言：开箱即用支持 35 种以上语言，并在 140 多种语言上完成预训练。 </li> </ul> E2B 和 E4B 模型专为边缘端超高效、低延迟推理而打造，可在包括 Jetson Nano 模块在内的众多设备上完全离线运行，实现近乎零延迟的性能。 26B 和 31B 模型专为高性能推理和以开发者为中心的工作流设计，非常适合用于智能体 AI。这些模型经过优化，可提供业界领先的易用性推理能力，并可在 NVIDIA RTX GPU 和 DGX Spark 上高效运行——为开发环境、代码助手及智能体驱动的工作流提供动力。 随着本地智能体 AI 势头日益强劲，OpenClaw 等应用正为 RTX PC、工作站和 DGX Spark 带来全天候在线的 AI 助手。最新的 Gemma 4 模型已兼容 OpenClaw，允许用户构建功能强大的本地智能体，它们可从个人文件、应用程序和工作流中获取上下文以自动化各项任务。了解如何免费在 <a target="_blank" href="https://www.nvidia.com/en-us/geforce/news/open-claw-rtx-gpu-dgx-spark-guide/">RTX GPU 和 DGX Spark 上运行 OpenClaw</a>，或使用 <a target="_blank" href="https://build.nvidia.com/spark/openclaw">DGX Spark OpenClaw 指南</a>。 请查阅 <a target="_blank" href="https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/">Google DeepMind 官方公告博客</a>，了解更多关于 Gemma 4 家族最新成员的详情。 <h2>快速上手：在 RTX GPU 和 DGX Spark 上运行 Gemma 4 </h2> NVIDIA 已与 Ollama 和 llama.cpp 合作，为每个 Gemma 4 模型提供最佳的本地部署体验。 要在本地使用 Gemma 4，用户可以下载 Ollama 来运行 Gemma 4 模型，或者安装 llama.c

查看原文

查看缓存全文

缓存时间: 2026/04/21 01:12

# 从 RTX 到 Spark：NVIDIA 为本地 Agentic AI 加速落地 Gemma 4 Source: https://blogs.nvidia.com/blog/rtx-ai-garage-open-models-google-gemma-4/ 开源模型正在驱动新一轮的端侧 AI 浪潮，将创新延伸至云端之外的日常设备。随着这些模型的不断进步，其价值越来越取决于能否获取本地、实时的上下文信息，从而将有意义的洞察转化为实际行动。专为顺应这一趋势设计，Google 在 Gemma 4 家族中最新推出的多款模型，开创了一类小巧、快速且全能（omni-capable）的模型系列，旨在各类设备上实现高效的本机执行。 Google 与 NVIDIA 携手合作，针对 NVIDIA GPU 对 Gemma 4 进行了深度优化，使其能够在广泛的系统上实现高效性能——从数据中心部署，到搭载 NVIDIA RTX 的 PC 和工作站，再到 NVIDIA DGX Spark (https://www.nvidia.com/en-us/products/workstations/dgx-spark/) 个人 AI 超级计算机以及 NVIDIA Jetson Orin Nano (https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-nano/product-development/) 边缘 AI 模块。 ## **Gemma 4：专为 NVIDIA GPU 优化的紧凑型模型** Gemma 4 系列开源模型的最新衍生版本——涵盖 E2B、E4B、26B 和 31B 四种规格——专为从边缘设备到高性能 GPU 的高效部署而打造。 [](https://blogs.nvidia.com/wp-content/uploads/2026/04/gemma-4-perf-chart-desktop-light-1.png) 所有配置均使用 Q4_K_M 量化在 NVIDIA GeForce RTX 5090 和 Mac M3 Ultra 台式机上进行测试，参数设置为 BS=1、ISL=4096、OSL=128。Token 生成吞吐量基于 llama.cpp b7789 版本，使用 llama-bench 工具测得。这一新一代紧凑型模型支持多种任务，包括： - **推理：**在复杂问题解决任务中表现出色。 - **编程：**面向开发者工作流，提供代码生成与调试功能。 - **智能体（Agents）：**原生支持结构化工具调用（function calling）。 - **视觉、视频与音频能力：**支持丰富的多模态交互，涵盖目标识别、自动语音识别及文档或视频理解。 - **交错多模态输入：**允许在单个 Prompt 中以任意顺序混合文本与图像。 - **多语言：**开箱即用支持 35 种以上语言，并在 140 多种语言的数据集上完成预训练。 E2B 和 E4B 模型专为边缘端的超高效、低延迟推理而构建，可在包括 Jetson Nano 模块在内的众多设备上完全离线运行，实现近乎零延迟的体验。 26B 和 31B 模型旨在提供高性能推理与以开发者为中心的工作流，非常适合用于 Agentic AI。经过优化，这些模型能够交付前沿且易用的推理能力，可高效运行于 NVIDIA RTX GPU 和 DGX Spark 上——为开发环境、代码助手及 Agent 驱动的工作流提供动力。随着本地 Agentic AI 的持续升温，如 OpenClaw 等应用正助力 RTX PC、工作站和 DGX Spark 实现全天候在线 AI 助手。最新的 Gemma 4 模型已兼容 OpenClaw，用户可利用它构建功能强大的本地 Agent，通过读取个人文件、应用程序和工作流中的上下文来实现任务自动化。点击此处了解如何免费在 RTX GPU 和 DGX Spark 上运行 OpenClaw (https://www.nvidia.com/en-us/geforce/news/open-claw-rtx-gpu-dgx-spark-guide/)，或使用 DGX Spark OpenClaw playbook (https://build.nvidia.com/spark/openclaw)。 ## **入门指南：在 RTX GPU 和 DGX Spark 上运行 Gemma 4** NVIDIA 已与 Ollama 和 llama.cpp 展开合作，为每种 Gemma 4 模型提供最佳的本地部署体验。要在本地使用 Gemma 4，用户可以下载 Ollama 来运行 Gemma 4 模型，或者安装 llama.cpp 并将其与 Gemma 4 GGUF Hugging Face checkpoint 配合使用。此外，Unsloth 提供了首日支持，通过 Unsloth Studio 提供经过优化和量化的模型，以实现高效的本地微调与部署。今天就开始在 Unsloth Studio 中运行并微调 Gemma 4 吧。在 NVIDIA GPU 上运行 Gemma 4 等开源模型可实现最佳性能，因为 NVIDIA Tensor Cores 会加速 AI 推理负载，为本地执行带来更高的吞吐量和更低的延迟。此外，CUDA 软件栈确保了与主流框架和工具的广泛兼容性，使新模型能够从一开始就高效运行。这种组合使得 Gemma 4 等开源模型无需大量额外优化，即可在各种系统上无缝扩展——从边缘端的 Jetson Orin Nano，到 RTX PC、工作站和 DGX Spark。查阅 NVIDIA 技术博客 (https://developer.nvidia.com/blog/bringing-ai-closer-to-the-edge-and-on-device-with-gemma-4/) 了解更多关于在 NVIDIA GPU 上起步使用 Gemma 4 的详情，并深入了解 NVIDIA 在开源模型方面的研究工作 (https://blogs.nvidia.com/blog/ai-future-open-and-proprietary/)。 ## **#ICYMI：RTX AI PC 最新动态** ✨ 回顾 RTX AI Garage (https://blogs.nvidia.com/blog/rtx-ai-garage-gtc-2026-nemoclaw) 博客文章，查看 NVIDIA GTC 大会发布的一系列 Agentic AI 重磅消息，包括面向本地 Agent 的全新开源模型。这些模型涵盖 NVIDIA Nemotron 3 Nano 4B 和 Nemotron 3 Super 120B，以及对 Qwen 3.5 和 Mistral Small 4 的性能优化。 NVIDIA 近期推出了 NVIDIA NemoClaw (https://nvidianews.nvidia.com/news/nvidia-announces-nemoclaw)，这是一款开源堆栈，通过增强安全性并支持本地模型，优化了 NVIDIA 设备上的 OpenClaw 使用体验。 **🚀** Accomplish.ai (https://accomplish.ai/) 宣布了 Accomplish FREE，这是其内置模型开源桌面 AI Agent 的免费版本。该版本利用 NVIDIA GPU 在本地运行开源权重模型，并通过混合路由器动态平衡本地 RTX 硬件与云端的工作负载——实现了快速、隐私安全且无需配置的本地执行，全程无需 API 密钥。关注 Facebook (https://www.facebook.com/NVIDIA.AI.PC/)、Instagram (https://www.instagram.com/nvidia.ai.pc/)、TikTok (https://www.tiktok.com/@nvidia_ai_pc) 和 X (https://x.com/NVIDIA_AI_PC) 上的 NVIDIA AI PC 官方账号——并订阅 RTX AI PC newsletter (https://www.nvidia.com/en-us/ai-on-rtx/?modal=subscribe-ai) 以获取最新资讯。在 LinkedIn (https://www.linkedin.com/showcase/3761136/) 和 X (https://x.com/NVIDIAworkstatn) 上关注 NVIDIA Workstation。

从 RTX 到 Spark：NVIDIA 加速 Gemma 4 赋能本地智能体 AI

相似文章

NVIDIA 加速 Google DeepMind 的 DiffusionGemma 以支持本地 AI

NVIDIA 在 RTX PC 和 DGX Spark 上全面升级本地 AI 智能体

火花四溅：NVIDIA 在 IFA 2026 上加速本地AI

将火花带入欧洲：本地智能驱动下一代 Agent 浪潮

NVIDIA Nemotron 3.5 Bolt E4B 4GB（基于 Gemma 4 E4B 后训练）

提交意见反馈