nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4 · Hugging Face

Reddit r/LocalLLaMA 模型
ai-model competitive-coding nvidia fine-tuning large-scale open-weights code-generation

摘要

NVIDIA发布了NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4，这是一个550B参数的模型，专为竞赛编程和算法问题解决而微调，基于Nemotron-3-Ultra。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/29 02:03

nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4 · Hugging Face

来源：https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#nvidia-nemotron-labs-3-competitive-coding-550b-a55b-nvfp4NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4

论文 (https://arxiv.org/abs/2609.02849)NeMo Skills (https://github.com/NVIDIA-NeMo/Skills)

主页 (https://developer.nvidia.com/nemotron)Discord (https://discord.gg/9xpKQtVvrk)

许可证 (https://openmdw.ai/license/1-1/)

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#model-summary模型概览

总参数量550B (其中55B活跃参数)架构基于Nemotron-3-Ultra上下文长度最高262,144 tokens最适合用途竞赛编程、算法问题求解、代码推理研究与基准测试、推理时计算研究推理模式采用结构化解释 → 置信度 → 答案的响应格式，在最终C++解决方案前进行分步推理许可证OpenMDW 许可协议，版本1.1 (https://raw.githubusercontent.com/OpenMDW/OpenMDW/refs/heads/main/1.1/LICENSE.OpenMDW-1.1)发布日期Hugging Face: 2026年9月3日，通过模型页面 (https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4)

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#quick-start快速开始

此检查点是一个竞赛编程专用模型，而非通用聊天或智能体模型。它支持商业和非商业应用，包括竞赛编程基准测试、代码推理研究和推理时计算研究（例如GenCorrect式迭代优化）等研究和评估场景。请参阅下方的使用案例 (https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#use-case)。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#model-overview模型概述

模型开发者： NVIDIA Corporation

模型开发： 基于NVIDIA-Nemotron-3-Ultra-550B-A55B (https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) 进行微调

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#what-is-nemotron什么是Nemotron？

NVIDIA NemotronTM是一系列开源模型，提供开放权重、训练数据和配方，为构建专用AI智能体带来领先的效率和准确性。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#description描述

Nemotron-Labs-3-Competitive-Coding是一个基于Nemotron-3-Ultra的竞赛编程专用模型，使用从GLM-5.2中蒸馏出的477,642条合成推理轨迹，在22,000个精选问题上进行单周期微调，这些问题涵盖16个地区和国际竞赛系列。GLM-5.2因其更高的准确性和比DeepSeek-V4-Flash训练变体短约30%的生成长度而被选为SFT教师模型。其蒸馏出的模型在推理时与GenCorrect结合——GenCorrect是一种迭代闭环的推理时计算策略，能在固定提交预算内生成多样化候选方案、融入评估者反馈并优化后续生成——在IOI 2026问题集上，以官方竞赛的时间、网络访问和提交限制进行了现场前瞻性评估，得分600分中的535.4分，超越了金牌分数线（361.12）和最高分人类选手的成绩（498.27），成为首个在IOI问题集上超越最高分人类选手的AI系统。

本模型可用于商业或非商业用途。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#licenseterms-of-use许可证/使用条款

管辖下载条款： 本模型的使用受OpenMDW许可协议，版本1.1 (https://raw.githubusercontent.com/OpenMDW/OpenMDW/refs/heads/main/1.1/LICENSE.OpenMDW-1.1)（OpenMDW-1.1）管辖。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#benchmarks基准测试

基准测试项目Nemotron-Labs-3-Competitive-CodingIOI 2025 — 配合GenCorrect（5轮）502.0 / 600ICPC 2025 — 配合GenCorrect（5轮）9.6 / 12题解出LiveCodeBench Pro — [email protected]%IOI 2026 — 现场、前瞻性、竞赛专用运行535.4 / 600（金牌；超越金牌线361.12和最高人类分数498.27） 所有结果均源自论文*《用于竞赛编程金牌表现的后训练语言模型》*（NVIDIA, arXiv:2609.02849）。IOI Score@1/Score@200和GenCorrect结果为多次独立运行的平均值；完整方法请参见论文。IOI 2025用作开发基准；IOI 2026结果来自在官方IOI时间、网络访问和提交限制下，在问题公开发布前进行的一次前瞻性现场运行，不属于官方IOI排名。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#deployment-geography-global部署地域：全球

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#use-case使用案例

Nemotron-Labs-3-Competitive-Coding旨在供研究人员和开发者评估或推进前沿代码推理能力，尤其适用于竞赛编程和算法问题求解等解决方案必须满足严格正确性、效率和隐藏测试用例约束的场景。它适用于长期推理、智能体代码生成以及如GenCorrect式迭代优化等推理时计算策略的基准测试和研究，而非通用聊天、指令遵循或生产级编码助手部署。在安全关键或实时生产系统中使用需要进行进一步评估并实施适合该应用的安全保障措施。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#release-date发布日期

Hugging Face：2026年9月3日通过模型页面 (https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4)

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#references参考文献

  • 用于竞赛编程金牌表现的后训练语言模型 (arXiv:2609.02849) (https://arxiv.org/abs/2609.02849)
  • Hugging Face 上的 NVIDIA Nemotron 3 模型家族 (https://huggingface.co/collections/nvidia/nvidia-nemotron-v3)
  • NeMo Skills — 推理和评估配方 (https://github.com/NVIDIA-NeMo/Skills)

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#model-architecture模型架构

  • 架构类型： 其他
  • 架构描述： Mamba2-Transformer混合潜在专家混合体 (LatentMoE) 并采用多标记预测 (MTP)
  • 网络架构： 其他
  • 网络架构描述： Nemotron混合潜在专家混合体 (LatentMoE)
  • 基础模型： Nemotron-3-Ultra-550B-A55B
  • 模型参数数量： 总参数550B / 活跃参数55B

本模型架构与Nemotron-3-Ultra保持一致，未作更改。架构详情请参见Nemotron-3-Ultra技术报告 (https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Ultra-Technical-Report.pdf)。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#input输入

输入类型：文本

输入格式：字符串

输入参数：一维 (1D)

与输入相关的其他属性：最大上下文长度最高262,144 tokens

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#output输出

输出类型：文本

输出格式：字符串

输出参数：一维 (1D)

与输出相关的其他属性：最大上下文长度最高262,144 tokens

本模型针对NVIDIA GPU加速系统进行了优化。其部署使用NVIDIA GPU和基于CUDA的软件库来加速推理。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#training-methodology训练方法论

Nemotron-Labs-3-Competitive-Coding从Nemotron-3-Ultra-550B-A55B的RLVR教师检查点初始化，并仅通过监督微调（SFT）进行微调；未对该检查点应用额外的强化学习或蒸馏阶段。

监督微调：

  • 教师模型：GLM-5.2
  • 训练数据：从GLM-5.2中蒸馏出的477,642条合成推理轨迹，涵盖来自16个地区和国际竞赛系列的22,000个精选竞赛编程问题，较难的问题和教师优化先前生成方案的自我改进轨迹分配了更多的生成样本。
  • 周期数：1
  • 优化器：AdamW，全局批次大小64，峰值学习率1.5 × 10−5，余弦调度，预热比例0.1
  • 最大打包序列长度：262,144 tokens
  • 并行方式：张量并行8
  • 硬件：128 × NVIDIA GB300-288GB GPU

推理时计算（GenCorrect）： 在推理时，Nemotron-Labs-3-Competitive-Coding与GenCorrect配合使用。GenCorrect是一种迭代闭环的推理时计算策略，能生成多样化候选方案，通过标记片段多样性聚类选择代表性子集，提交以获取评估者反馈，并基于累积的子任务分数和互补参考方案来调节后续轮次。

量化： 使用NVIDIA Model Optimizer NVFP4配方进行后训练量化，基于从SFT混合数据中采样的1,000个32,768 token序列进行校准，以在竞赛现场部署时提高推理吞吐量。

数据策划、训练配置和GenCorrect算法的更多详情请参见论文：用于竞赛编程金牌表现的后训练语言模型 (arXiv:2609.02849) (https://arxiv.org/abs/2609.02849)。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#training-testing-and-evaluation-datasets训练、测试与评估数据集

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#training-dataset训练数据集

数据模态：文本

文本训练数据规模：22,000个问题，共477,642个样本。

数据集收集方式：混合式 — 精选竞赛题目和合成生成的推理轨迹。

数据集标注方式：合成式 — 由GLM-5.2生成。

属性（数量、数据集描述、传感器）：来自16个地区和国际竞赛系列的竞赛编程问题，配有合成推理轨迹和代码解决方案。混合数据中包含教师优化先前方案的自我改进轨迹，较难的问题分配了更多生成样本。

数据集主要包含英语的问题陈述和推理，以及编程语言源代码。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#testing-dataset测试数据集

数据集收集方式：混合式 — 精选竞赛题目和自动化基准处理。

数据集标注方式：混合式 — 竞赛提供的测试用例和评分标准，以及自动化方案评估。

属性（数量、数据集描述、传感器）：用于评估代码生成质量的竞赛编程基准。IOI 2025用作开发基准。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#evaluation-dataset评估数据集

基准分数：请参见基准测试部分中关于IOI 2025、ICPC 2025、LiveCodeBench Pro和IOI 2026的结果。

数据集收集方式：混合式 — 精选竞赛题目和自动化基准处理。

数据集标注方式：混合式 — 竞赛提供的测试用例和评分标准，以及自动化方案评估。

属性（数量、数据集描述、传感器）：评估方案正确性和算法效率的竞赛编程基准。IOI 2025也用作开发基准。IOI 2026是在官方竞赛限制下，进行的一次前瞻性现场评估，不纳入官方排名。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#software-integration软件集成

运行时引擎：vLLM

支持的硬件微架构兼容性：

  • NVIDIA Blackwell

支持的操作系统：Linux

在将此模型集成到AI系统之前，开发者应使用代表预期用例的数据对其进行评估。采用V模型方法论，结合迭代单元和系统测试，以验证技术和功能要求，应对部署风险，并评估安全和伦理要求。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#model-versions模型版本

  • v1.0 - GA (2026-09-03)

要将此模型集成到AI系统，请使用部署配置（NVFP4）(https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#deployment-nvfp4)中的配置通过vLLM进行部署，然后通过API客户端 (https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#api-client)所示的界面提交文本提示。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4#deployment-nvfp4部署（NVFP4）

IOI 2026竞赛现场运行使用了NVFP4后训练量化以提升推理吞吐量。评估的配置使用了FP8 KV缓存，禁用了前缀缓存，MTP设置为5，在52.8%的IOI 2025 Score@1下达到736.8 tokens/s/GPU（相比之下，未量化的BF16基线为59.4%下199.1 tokens/s/GPU）。选择此折衷方案是为了在竞赛时间窗口内支持GenCorrect所需的大规模候选批处理。

推荐容器：vllm/vllm\-openai:v0\.22\.0

export MODEL_CKPT=PATH/TO/NVFP4/CHECKPOINT

单节点NVFP4竞赛部署示例（4×GB300, TP4）：

docker run -d --name nemotron-labs-3-competitive-coding-vllm \
  --gpus all \
  --ipc=host \
  --network=host \
  --shm-size=16g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  -v $MODEL_CKPT:/model:ro \
  -e VLLM_WORKER_MULTIPROC_METHOD=spawn \
  -e SAFETENSORS_FAST_GPU=1 \
  -e NVIDIA_TF32_OVERRIDE=1 \
  -e VLLM_USE_FLASHINFER_MOE_FP8=1 \
  -e VLLM_USE_FLASHINFER_MOE_FP4=1 \
  -e VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm \
  -e VLLM_DISABLED_KERNELS=FlashInferFP8ScaledMMLinearKernel \
  -e VLLM_FLASHINFER_MOE_BACKEND=throughput \
  -e VLLM_LOGGING_LEVEL=INFO \
  vllm/vllm-openai:v0.22.0 \
  /model \
  --host 0.0.0.0 \
  --port 8000 \
  --served-model-name nvidia/NVIDIA-Nemotron-Labs-3-Competitive-Coding-550B-A55B-NVFP4 \
  --trust-remote-code \
  --tensor-parallel-size 4 \
  --distributed-executor-backend mp \
  --dtype auto \
  --kv-cache-dtype fp8 \
  --block-size 64 \
  --no-enable-flashinfer-autotune \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 32 \
  --max-num-batched-tokens 32768 \
  --enable-chunked-prefill \
  --no-enable-prefix-caching \
  --reasoning-parser nemotron_v3 \
  --mamba-ssm-cache-dtype float32 \
  --mamba-backend flashinfer \
  --enable-expert-parallel \
  --specula

相似文章

nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4

Hugging Face Models Trending

NVIDIA 发布 Nemotron-3-Ultra，一个拥有 5500 亿参数的开源权重模型，采用结合 Mamba-2、MoE 和注意力的混合架构，支持高达 100 万 token 的上下文长度和可配置的推理模式。

nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 · Hugging Face

Reddit r/LocalLLaMA

NVIDIA发布Nemotron-3-Ultra-550B-A55B，这是一个5500亿参数（550亿活跃参数）的前沿大语言模型，采用混合LatentMoE架构，结合Mamba-2、MoE和注意力层，支持高达100万令牌的上下文长度和可配置的推理模式。它支持11种语言，并针对复杂的智能体工作流、长上下文分析和高精度推理进行了优化。

nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 · Hugging Face

Reddit r/LocalLLaMA

NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，这是一种从 Nemotron-3-Super 衍生而来的压缩混合 MoE 大型语言模型，实现了约 2 倍更高的服务器吞吐量和更高的并发性，同时在推理、编码和长上下文基准测试中保持强劲的准确度。

nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

Hugging Face Models Trending

NVIDIA 发布了 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4，这是一款采用 NVFP4 量化的视觉语言模型，拥有 1200 亿总参数/120 亿激活参数，采用 Mamba-2 混合 MoE 架构，配备 C-RADIO 视觉编码器，支持最高 100 万 token 的上下文窗口，并原生支持多 token 预测以实现投机解码，采用 OpenMDW-1.1 许可证，可用于商业和非商业用途。