nvidia/Nemotron-Labs-Audex-30B-A3B · Hugging Face 来源: https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B 技术报告 (https://arxiv.org/abs/2607.05196) 模型 (https://huggingface.co/collections/nvidia/nemotron-labs-audex) main_fig ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#introduction 引言 我们很高兴推出Nemotron-Labs-Audex-30B-A3B (https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B)，这是一个统一的音频-文本大语言模型，构建于 Nemotron-Cascade-2-30B-A3B (https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B) 之上，后者是一个强大的纯文本 MoE 大语言模型，拥有 30B MoE 模型且激活参数为 3B。Audex-30B-A3B 扩展了用于语音和通用音频输出的离散音频标记词汇表，并增加了用于语音和通用音频输入的音频编码器。Audex-30B-A3B 在音频任务（音频理解、语音识别与翻译、文本转语音、音频生成以及语音到语音生成）上展现出强大的能力，同时在其纯文本大语言模型骨干的基础上，保持了非常出色的推理、对齐、知识、长上下文以及代理能力，几乎没有或完全没有退化。Audex-30B-A3B 支持思考模式和指令（非思考）模式。 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#model-architecture 模型架构 architecture ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#templates 模板 template ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#multi-stage-sft-and-cascaded-rl-pipelines 多阶段 SFT 和级联 RL 流水线 training ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#quick-start 快速开始 - Audex-30B-A3B 遵循 ChatML 模板，并支持思考和指令（非思考）两种模式。推理内容包含在 和 标签内。要激活指令（非思考）模式，我们在助手回复的开头添加 ``。 - Audex-30B-A3B 支持长达 1M 标记的上下文长度。 - Audex-30B-A3B 在文本评估方面遵循 Nemotron-Cascade-2。 - Audex-30B-A3B 根据音频相关任务的不同，具有不同的推荐推理设置，如下所述。 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#environment 环境 我们使用 vLLM 0.20.0 容器镜像：vllm/vllm-openai:v0.20.0-cu129 (https://hub.docker.com/layers/vllm/vllm-openai/v0.20.0-cu129/images/sha256-f4ace3494896eeda800dee284d1fc42ca7f5626f31ceae8e24d1383d770567c2) - vLLM 推理——纯文本推理、文本转语音、文本转音频、音频理解/语音识别/语音翻译：在 vLLM 0.20.0 上运行。 - Hugging Face / transformers 推理——需要 transformers >= 4.53.0（使用 4.53.3 测试），也适用于 transformers >= 5.0。此外还需要 mamba-ssm 和 causal-conv1d（请根据您的 CUDA 工具链构建，例如 pip install --no-build-isolation causal-conv1d==1.6.2.post1 mamba-ssm==2.3.2.post1）。 音频扩展： vllm/vllm-openai:v0.20.0 镜像不包含音频编解码器。请使用以下命令安装音频相关包：python3 -m pip install "vllm[audio]"。 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#audio-qa-inference 音频问答推理 音频问答包括音频理解、语音识别和语音翻译（参见引言中的模板）。 - vLLM（推荐）——离线 LLM.generate 和兼容 OpenAI 的 audio_url 服务器。 - Hugging Face / transformers——需要 transformers >= 4.53.0（我们使用 4.53.3 测试），也适用于 transformers >= 5.0。 #### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#inputs 输入 要准备输入，请按以下格式创建 JSON 文件，并使用 \\n 占位符： [ { "id": "sample_0", "sound": "/path/to/audio_0.wav", "conversations": [ {"from": "human", "value": "\n详细描述该音频。"}, {"from": "gpt", "value": "N/A"} ] }, { "id": "sample_1", "sound": "/path/to/audio_1.wav", "conversations": [ {"from": "human", "value": "\n{prompt}"}, {"from": "gpt", "value": "N/A"} ] }, ... ] #### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#inference-recipes 推理配方 - 对于音频理解，我们使用 top_p=0.9 和 temperature=0.7。 - 对于语音识别和翻译，我们使用贪心采样。 #### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#vllm-recommended vLLM（推荐） 安装环境： python3 -m pip install "vllm[audio]" # 音频输入解码；如果您的镜像已包含，则跳过（参见环境） pip install -e inference_scripts_vllm/audioqa_scripts --no-deps --no-build-isolation - 离线（JSON 输入 → JSONL 输出）： python inference_scripts_vllm/audioqa_scripts/run_audioqa_vllm.py \ --model-path "$(pwd)/checkpoint_folder_full" \ --input-json ./inputs.json \ --output-jsonl ./audioqa_outputs/results.jsonl \ --tensor-parallel-size 8 - 兼容 OpenAI 的服务器 + 客户端： bash inference_scripts_vllm/audioqa_scripts/serve_audioqa_vllm.sh "$(pwd)/checkpoint_folder_full" 8000 python inference_scripts_vllm/audioqa_scripts/client_audioqa.py --audio /path/to/audio.wav --prompt "描述此音频。" #### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#hugging-face–transformers Hugging Face / transformers - 示例推理脚本：bash inference_scripts_hf/inference_example.sh。 - 任务指令示例：音频理解——关于音频的问题；语音识别——转录输入音频中的语音。\n；语音翻译——翻译指令，例如将输入音频中的语音翻译成英语。\n。 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#audio-generation-inference 音频生成推理 音频生成包括文本转语音和文本转音频生成。首先，使用 bash model_conversion_scripts/prepare_audiogen_vllm_checkpoint.sh 准备 vLLM 推理（该脚本仅在 checkpoint_folder_audiogen 下创建 safetensors 的符号链接）。 #### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#text-to-audio-tta 文本转音频（TTA） 通过以下方式下载 XCodec1 (hf-audio/xcodec-hubert-general-balanced) (https://huggingface.co/hf-audio/xcodec-hubert-general-balanced)： hf download hf-audio/xcodec-hubert-general-balanced --local-dir /path/to/xcodec1 准备一个文件夹 /path/to/caption_txt_dir/，其中包含所有 .txt 文件，每个文件包含一个描述。运行 cd inference_scripts_vllm/audiogen_scripts/ 并将 --tensor-parallel-size 设置为 GPU 数量。运行： XCODEC1_PATH=/path/to/xcodec1 python3 run_audio_gen_vllm_rvq_logit_mask.py \ --task tta \ --model-path $(pwd)/../../checkpoint_folder_audiogen/ \ --dataset-path /path/to/caption_txt_dir/ \ --output-dir ../../tta_outputs/dataset_name/ \ --tensor-parallel-size 8 \ --temperature 1.0 \ --top-k 80 \ --max-tokens 2048 \ --cfg-scale 3.0 \ --cfg-pairs-per-batch 2 最后（可选），对生成的波形应用 48 kHz 增强 VAE；请参见 enhancement_VAE/README.md。 #### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#text-to-speech-tts 文本转语音（TTS） 我们建议使用 audex_causal_speech_decoder 中的独立 Audex 因果语音解码器（默认）。 ./run_tts_vllm.sh --transcription "天气真好，我想在公园里享受美好的早晨。" \ --output-dir ./tts_outputs --utt-id the_weather_is_so_good 或者，用户可以通过此仓库 (https://github.com/zhenye234/X-Codec-2.0) 下载原始 XCodec2 并在完整生成后解码令牌；这种方法质量更好，但无法流式处理。 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#text-only-reasoning 纯文本推理 文本推理遵循 Nemotron-Cascade-2-30B-A3B (https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B)。 - 要创建与他们的设置完全匹配的检查点，请运行 python model_conversion_scripts/convert_full_HF_to_textonly_HF.py 以移除与音频相关的词汇表。 - 然后，纯文本推理完全遵循 Nemotron-Cascade-2-30B-A3B。请参见一个简单的推理示例：cd inference_scripts_vllm/textonly_scripts/; python run_text_vllm_example.py --model-path $(pwd)/../../checkpoint_folder_textonly。 - 注意：您也可以通过使用 vLLM 推理中的 sampling_params = SamplingParams(allowed_token_ids=list(range(131072))) 来屏蔽音频标记，从而避免模型转换，但我们尚未彻底测试此方法。 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#demo-speech-to-speech-interaction-with-text-reasoning 演示：带文本推理的语音到语音交互 请参见 inference_scripts_vllm/unified_s2s_scripts/README.md。 ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#reproducibility 可复现性 以下基准测试数字使用以下设置： - 文本转语音（TTS）： 原始非流式 XCodec2 解码器。 - 文本转音频（TTA）： XCodec1 后接增强 VAE。 - 文本： 与 Nemotron-Cascade-2 相同。 - 音频理解： transformers 4.53.3 和 Megatron-LM 的原生推理。 ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#detailed-benchmark-results 详细基准测试结果 ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#text-results 文本结果 result_text ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#text-to-speech-results 文本转语音结果 result_tts ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#text-to-audio-results 文本转音频结果 result_tta ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#speech-recognition-and-translation-results 语音识别与翻译结果 result_openasr result_noisyasr result_multilingual ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#audio-understanding-results 音频理解结果 result_audioqa ### https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#speech-to-speech-results 语音到语音结果 result_s2s ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#release-date 发布日期 2026 年 6 月 8 日 ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#license 许可证 您对本模型的使用受 NVIDIA Oneway 非商业许可证 (https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B/blob/main/license/NVIDIA-OneWay-Noncommercial-License.docx) 约束 ## https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B#citation 引用 @article{Nemotron-Labs-Audex, title={Unified Audio Intelligence Without Regressing on Text Intelligence}, author={Kong, Zhifeng and Lee, Sang-gil and Kim, Jaehyeon and Wang, Boxin and Liu, Zihan and Kim, Sungwon and Chen, Yang and Goel, Arushi and Roy, Rajarshi and Dai, Wenliang and Yang, Zhuolin and Chen, Yangyi and Jiang, Dongfu and Ghosh, Sreyan and Rintamaki, Tuomas and Tao, Andrew and Raiman, Jonathan and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei}, year={2026} }