论文页面 - 统一音频智能，不牺牲文本智能

来源：https://huggingface.co/papers/2607.05196
作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

本文提出了一种统一的音频-文本大型语言模型，通过共享的Transformer解码器集成音频与文本处理，在多个音频和语音任务上实现卓越性能，同时保持强大的文本推理能力。

音频智能涉及对音频和语音的理解、推理和生成。在本工作中，我们引入了 Nemotron-Labs-Audex-30B-A3B（Audex），这是一个构建于 Nemotron-Cascade-2-30B-A3B（一个强大的纯文本 MoE LLM）之上的统一音频-文本 LLM（https://huggingface.co/papers?q=audio-text%20LLM）。Audex 采用简洁的统一设计，使用单个 Transformer 解码器（https://huggingface.co/papers?q=Transformer%20decoder）：音频输入被编码并投影到文本嵌入空间，而文本 token 和量化后的音频输出 token 在生成过程中被统一处理。这种架构实现了强大的音频-文本融合、无缝的多模态生成（https://huggingface.co/papers?q=multimodal%20generation），并与标准 LLM 训练和推理基础设施兼容。在训练方面，我们精心整理了包含 1574 亿音频 token 和 3205 亿文本 token 的音频-文本数据集。我们在这些数据集上应用了多阶段监督训练（https://huggingface.co/papers?q=supervised%20training），随后进行纯文本级联强化学习（https://huggingface.co/papers?q=Cascade%20RL）和多领域在线策略蒸馏（https://huggingface.co/papers?q=on-policy%20distillation）。Audex 在音频理解（https://huggingface.co/papers?q=audio%20understanding）、语音识别（https://huggingface.co/papers?q=speech%20recognitionspeech recognition）与翻译、文本转语音（https://huggingface.co/papers?q=text-to-speech）、音频生成（https://huggingface.co/papers?q=audio%20generation）以及语音到语音生成（https://huggingface.co/papers?q=speech-to-speech%20generation）方面均达到业界领先水平，同时基本保持其纯文本 LLM 骨干网令人信服的推理、对齐、知识、长上下文和智能体能力，几乎没有退化。我们发布模型检查点以促进开放研究。

查看 arXiv 页面（https://arxiv.org/abs/2607.05196）查看 PDF（https://arxiv.org/pdf/2607.05196）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.05196）

引用本文的模型2

nvidia/Nemotron-Labs-Audex-30B-A3B 文本生成·更新于大约 11 小时前 · 27 (https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B)

nvidia/Nemotron-Labs-Audex-2B 文本生成·更新于大约 11 小时前 · 14 (https://huggingface.co/nvidia/Nemotron-Labs-Audex-2B)

引用本文的数据集0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2607.05196 以将其链接到此页面。

引用本文的 Space1

收藏本文的合集1