NVIDIA 发布 Nemotron 3 Nano Omni 模型，统一视觉、音频和语言处理，助力 AI Agent 效率提升高达 9 倍

<div id="bsf_rt_marker"></div><p>当今的 AI Agent 系统往往需要同时调度分别用于视觉、语音和语言的独立模型——在将数据从一个模型传递到另一个模型的过程中，不仅耗费时间，还容易丢失上下文信息。</p> <p><span style="font-weight: 400;">今天发布的 NVIDIA Nemotron 3 Nano Omni 是一款开放的多模态模型，它将上述能力整合到一个系统中，</span><span style="font-weight: 400;">使 Agent 能够在视频、音频、图像和文本之间进行高级推理，从而提供更快速、更智能的响应。</span><span style="font-weight: 400;">这款业界领先的模型为企业和开发者提供了一条生产路径，用于构建更高效、更精准的多模态 AI Agent，同时提供完整的部署灵活性和控制权。</span></p> <p><span style="font-weight: 400;">Nemotron 3 Nano Omni 凭借卓越的准确性和低成本，为开放多模态模型树立了新的效率标杆，在复杂文档智能以及视频和音频理解的<a target="_blank" href="https://developer.nvidia.com/blog/nvidia-nemotron-3-nano-omni-powers-multimodal-agent-reasoning-in-a-single-efficient-open-model">六大排行榜中均位居榜首</a>。</span></p> <aside style="float: right; width: 320px; max-width: 100%; margin: 0.25rem 0 1.25rem 1.75rem; padding: 1.25rem 1.5rem 1.5rem; background: #fafafa; border-top: 3px solid #76b900; font-family: -apple-system,BlinkMacSystemFont,'Segoe UI',Roboto,'Helvetica Neue',Arial,sans-serif; color: #1a1a1a; font-size: 15px; line-height: 1.55; box-sizing: border-box;"> <p style="margin: 0 0 0.875rem 0; font-size: 11px; letter-spacing: 0.12em; text-transform: uppercase; font-weight: bold; color: #76b900;">概览</p> <div style="padding: 0 0 0.75rem 0;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">它是什么</p> <p style="margin: 0; color: #1a1a1a;">一款开放的全模态推理模型——同类中效率最高的开放多模态模型，且准确性领先</p> </div> <div style="padding: 0.75rem 0; border-top: 1px solid #e5e5e5;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">处理能力</p> <p style="margin: 0; color: #1a1a1a;">文本、图像、音频、视频、文档、图表及图形界面（输入）；文本（输出）</p> </div> <div style="padding: 0.75rem 0; border-top: 1px solid #e5e5e5;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">适用对象</p> <p style="margin: 0; color: #1a1a1a;">正在构建快速可靠的自主系统（Agentic Systems），且需要多模态感知子 Agent 的企业和开发者</p> </div> <div style="padding: 0.75rem 0; border-top: 1px solid #e5e5e5;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">工作原理</p> <p style="margin: 0; color: #1a1a1a;">在 Agent 系统中充当“眼睛和耳朵”，与 Nemotron 3 Super 和 Ultra 或其他专有模型协同工作</p> </div> <div style="padding: 0.75rem 0; border-top: 1px solid #e5e5e5;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">为何重要</p> <p style="margin: 0; color: #1a1a1a;">拥有领先的多模态准确性和比其他具有相同交互性的开放 Omni 模型高 9 倍的吞吐量，从而在保持响应速度的同时实现更低的成本和更好的可扩展性。</p> </div> <div style="padding: 0.75rem 0; border-top: 1px solid #e5e5e5;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">架构</p> <p style="margin: 0; color: #1a1a1a;">30B-A3B 混合 MoE（混合专家模型），采用 Conv3D、EVS 技术，支持 256K 上下文</p> </div> <div style="padding: 0.75rem 0 0 0; border-top: 1px solid #e5e5e5;"> <p style="margin: 0 0 0.2rem 0; font-size: 11px; letter-spacing: 0.06em; text-transform: uppercase; font-weight: 600; color: #6b6b6b;">可用性</p> <p style="margin: 0; color: #1a1a1a;">2026 年 4 月 28 日通过 Hugging Face、OpenRouter、build.nvidia.com 及 25 多个合作伙伴平台提供</p> </div> </aside> <p>已经采用 Nemotron 3 Nano Omni 的 AI 和软件公司包括 <a target="_blank" href="https://www.aible.com/nemotron3-nano-omni-ai-agent"><span style="font-weight: 400;">Aible</span></a><span style="font-weight: 400;">、</span><a target="_blank" href="https://appliedscientific.ai/research/scientific-ai-literature-agent-nvidia-nemotron-nano-omni?utm_source=nvidia-blog"><span style="font-weight: 400;">Applied Scientific Intelligence (ASI)</span></a><span style="font-weight: 400;">、</span><a target="_blank" href="https://info.eka.care/services/how-ekacare-is-building-agentic-multimodal-healthcare-for-india-scale-patient-care-with-nvidia-nemotron-3-nano-omni"><span style="font-weight: 400;">Eka Care</span></a><span style="font-weight: 400;">、</span><span style="font-weight: 400;">富士康 (Foxconn)</span><span style="font-weight: 400;">、</span><span style="font-weight: 400;"><a target="_blank" href="https://hcompany.ai/holotron3">H Company</a>、Palantir 和 </span><a target="_blank" href="https://pyler.tech/articles/scaling-trustworthy-video-safety-with-nvidia-nemotron-3-nano-omni"><span style="font-weight: 400;">Pyler</span></a><span style="font-weight: 400;">，此外，</span><span style="font-weight: 400;">Dell Technologies</span><span style="font-weight: 400;">、</span><span style="font-weight: 400;">Docusign、Infosys、<a target="_blank" href="https://www.k-dense.ai/blog/nvidia-nemotron-nano-omni-multimodal-agentic-science">K-Dense</a>、Lila、Oracle </span><span style="font-weight: 400;">和 </span><a target="_blank" href="https://zefr.com/press/zefr-evaluates-nvidia-nemotron-3-nano-omni-to-power-cognition-ai"><span style="font-weight: 400;">Zefr</span></a><span style="font-weight: 400;"> 正在对该模型进行评估。</span></p> <p><span style="font-weight: 400;">“要构建实用的 Agent，不能等待数秒让模型去解析屏幕内容，”</span> <span style="font-weight: 400;">H Company 首席执行官 Gautier Cloix 表示。</span> <span style="font-weight: 400;">“基于 Nemotron 3 Nano Omni 构建后，我们的 Agent 能够快速解读全高清屏幕录制视频——这在过去是不切实际的。这不仅仅是速度上的提升：它标志着我们的 Agent 如何实时感知和与数字环境互动发生了根本性的转变。”</span></p> <h2><b>Nemotron 3 Nano Omni 助力构建更快速、更精简的多模态 Agent</b></h2> <p><span style="font-weight: 400;">想象一下这样一个场景：一个用于客户支持的 AI Agent 在处理屏幕录制的同时，分析上传的通话音频并检查数据日志——或者一个用于金融领域的 Agent 需要解析 PDF、电子表格、图表和语音备忘录。目前，大多数自主系统依靠分别处理视觉、语音和语言的独立模型来完成这些任务。</span></p> <p><span style="font-weight: 400;">这种方法通过重复的推理过程增加了延迟，导致跨模态的上下文碎片化，并随着时间的推移增加了成本和 inaccuracies（不准确之处）。</span></p> <p><span style="font-weight: 400;">Nemotron 3 Nano Omni 在其 30B-A3B 混合 </span><a target="_blank" href="https://www.nvidia.com/en-us/glossary/mixture-of-experts/"><span style="font-weight: 400;">混合专家（MoE）</span></a><span style="font-weight: 400;">架构中整合了视觉和音频编码器，从而消除了对独立感知模型的需求，实现了大规模下的推理效率。它将这种效率与强大的多模态感知准确性相结合，使<a target="_blank" href="https://huggingface.co/blog/nvidia/nemotron-3-nano-omni-multimodal-inteligence">AI 系统能够实现比其他具有相同交互性的开放 Omni 模型高 9 倍的吞吐量</a>