EchoDistill: 对齐噪声到干净的自蒸馏用于鲁棒音频大语言模型

# EchoDistill：基于对齐的噪声到干净自蒸馏，用于鲁棒音频大语言模型

**来源:** https://arxiv.org/html/2605.23954

梁林¹,\* 罗纯熙²,\* 罗凯文¹,\* 张杰³ 王进⁴ 张元和⁵ 蔡宇辰⁶ 李乾坤¹ 习公丽⁷ 周振鸿¹ 王坤¹,↑ 董俊豪¹,↑

¹NTU ²SHU ³ICT, CAS ⁴HDU ⁵BUPT ⁶USTC ⁷SKL-NST, BUPT

[email protected]

*同等贡献。↑通讯作者

###### 摘要

音频大语言模型（ALLMs）极易受到现实世界噪声的影响，这种噪声常常导致严重的语义漂移和幻觉。现有的鲁棒性方法主要依赖于波形级的声学增强、答案级的监督或内部抑制噪声表示。为了解决这些问题，我们提出了**EchoDistill**，一个基于对齐的噪声到干净自蒸馏框架。**EchoDistill**利用一个冻结的干净音频教师模型，为推理时的噪声音频学生模型提供语义参考。具体来说，学生模型在噪声条件下采样候选响应，以暴露其测试时的行为。这些轨迹随后通过组相对策略优化（GRPO）进行优化，其中与教师模型的令牌级一致性作为奖励加成。通过将噪声学生模型的候选响应与干净语义证据对齐，并应用音频感知的奖励塑造，我们的方法鼓励既正确又真正基于声学的推理轨迹。**EchoDistill**在不引入任何额外推理成本的情况下，显著提高了音频大语言模型在复杂噪声下的语义可靠性和任务性能。大量实验表明：（I）与最强基线相比，**EchoDistill**在强噪声下GSR平均提升4.18%↑。（II）在Qwen-Omni上的消融结果进一步显示，**EchoDistill**在Acc、Noisy和GSR指标上，相较于仅使用GRPO的变体，分别平均提升了3.02%↑、3.89%↑和4.53%↑。我们的代码可在 https://anonymous.4open.science/r/echodistill-10DE 获取。

## 1 引言

音频大语言模型（ALLMs）越来越多地部署在实时应用中，例如车载助手、在线会议和基于音频的交互系统（Li et al., 2025b），其中音频作为语言理解的主要接口（Li et al., 2015; Rubenstein et al., 2023; Radford et al., 2023; Luo et al., 2026）。然而，现实世界的音频常常受到设备伪影和环境噪声的污染，这不仅扭曲了波形（Deliyski et al., 2005; Gelbart and Morgan, 2002），还降低了ALLMs的生成质量（Lin et al., 2026; Kumar and Mishra, 2025; Xiao et al., 2025; Yin et al., 2024）。在严重噪声下，模型可能误解声学证据并产生不稳定的响应，导致语义漂移和幻觉（Shen et al., 2024; Chen et al., 2025; Yin et al., 2026; Xiao and Das, 2025; Cheng et al., 2025, 2024）。

现有关于ALLM去噪的研究主要集中在推理阶段的干预或特征级的修改（Purwins et al., 2019; Ephraim and Malah, 2003; Pascual et al., 2017; Zhang et al., 2026）。这些运行时策略试图动态抑制噪声，但根本上未能通过训练过程本身内在地增强模型的鲁棒性。例如，尽管像DFL（Purwins et al., 2019）这样的方法成功减轻了某些噪声破坏，但最近的研究（Zhang et al., 2026）表明，它们会带来严重的对齐惩罚，导致通用能力和下游任务性能的显著退化（Hou et al., 2025; Li et al., 2015）。

在本研究中，我们旨在提出一种新的训练范式来增强ALLMs的鲁棒性：**EchoDistill**。具体来说，我们利用信息差距进行自蒸馏——学生模型将噪声音频作为输入并进行推理，而教师模型（即模型本身）可以访问相应的干净音频。通过将强化学习中的轨迹级奖励（Yu et al., 2025）与在线蒸馏中的细粒度令牌级奖励（Ye et al., 2026; Tan et al., 2026; Zhao et al., 2026; Sang et al., 2026）相结合，**EchoDistill**使模型能够在受损条件下将其噪声输入的输出分布与干净音频的语义分布对齐，从而在根本上实现鲁棒性的显著提升。如图1所示，我们在Qwen-Omni（Chu et al., 2024）、MiniCPM-o（Yao et al., 2024）和StepAudio（Wu et al., 2025）上，在严重的声学噪声下进行了大量实验，涵盖音乐、声音和语音领域（Kumar et al., 2026; Hendrycks et al., 2020）。以GSR（Benesty et al., 2009）为主要鲁棒性指标，**EchoDistill**在骨干网络和领域上均提升了生成鲁棒性（Kumar and Mishra, 2025）。与最强基线相比，**EchoDistill**在GSR上实现了平均4.18%的提升。我们的主要贡献总结如下：

- • 通过对音频接地行为的深入分析，我们识别出正确推理轨迹中声学证据固有的稀疏性，证明细粒度的令牌级语义校正是可靠音频推理的根本需求。
- • 我们提出了**EchoDistill**，一种新颖的噪声到干净自蒸馏框架，该框架将噪声音频学生的推理轨迹与特权干净音频教师的语义在令牌级无缝对齐，从而使模型能够牢固地基于可靠的声学证据，而不是漂移到语言先验。
- • 在多个代表性ALLMs和不同音频域上进行的大量实验表明，**EchoDistill**在严重的声学破坏下显著且一致地提高了面向GSR的生成鲁棒性，在极具挑战性的声音和语音领域尤其取得了显著增益。

![Figure 1](https://arxiv.org/html/2605.23954/x1.png)

**图1：** 音乐、声音和语音任务中噪声准确率和GSR的任务级对比。总体而言，来自Qwen的学生模型在所有三个任务类别中均达到最佳性能，在噪声准确率和GSR上持续优于基线模型。这种优势在GSR上尤为明显，表明学生模型在噪声条件下提供了更鲁棒、更基于声学的响应。

## 2 预备知识

#### 组相对策略优化。
组相对策略优化（GRPO）（Shao et al., 2024）是一种用于生成模型的基于组的策略优化方法。给定输入\(x\)，策略\(\pi_\theta\)采样一组响应\(\{y^{(k)}\}_{k=1}^K\)，并从奖励\(r^{(k)}\)中构建组相对优势：
\[
A^{(k)} = \frac{r^{(k)} - \mu}{\sigma + \varepsilon},
\]
其中\(\mu\)和\(\sigma\)是组奖励的均值和标准差。对于自回归策略，GRPO通常通过比较同一采样轨迹上的新旧策略，在令牌级进行书写。令\(\rho_t^{(k)} = \frac{\pi_\theta(y_t^{(k)} | x, y_{<t}^{(k)})}{\pi_{\theta_{\text{old}}}(y_t^{(k)} | x, y_{<t}^{(k)})}\)。那么令牌级GRPO损失为：
\[
\mathcal{L}_{\text{GRPO}} = -\frac{1}{K} \sum_{k=1}^K \sum_{t=1}^{|y^{(k)}|} \text{clip}(\rho_t^{(k)}, 1-\epsilon, 1+\epsilon) A^{(k)} - \beta \cdot \text{KL}[\pi_\theta \| \pi_{\text{ref}}],
\]
其中\(\epsilon\)是裁剪范围，\(\beta \cdot \text{KL}\)项通过一个冻结参考策略\(\pi_{\text{ref}}\)约束策略偏差。

## 3 方法

### 3.1 整体框架

**EchoDistill** 是一种噪声到干净的自蒸馏框架，旨在增强ALLMs在严重声学噪声下的鲁棒性。如图2所示，该框架包含三个组件：(a) 一个干净音频教师模型，提供语义参考；(b) 一个噪声音频学生模型，使用与教师相同的骨干网络（但参数独立）；(c) 一个联合优化目标，将组相对策略优化与在线蒸馏相结合。教师模型接收干净音频\(a^c\)，学生模型接收噪声音频\(a^n\)；两者共享相同的文本输入\(x\)。在训练期间，学生模型首先在噪声条件下采样候选响应，然后同时通过策略损失（优化任务奖励）和蒸馏损失（对齐学生和教师的令牌级分布）进行优化。在推理时，教师分支、干净音频和奖励计算都被移除，仅部署学生模型，保持原始推理成本。

### 3.2 音频感知奖励塑造

直接的GRPO依赖于任务奖励（例如，生成的答案是否准确），但没有明确地将响应与干净的声学证据联系起来。由于在噪声下，语言先验（与音频无关）有时会比正确的音频接地预测获得更高的任务奖励，这可能导致语义漂移。为了解决这个问题，我们引入了一个在线蒸馏项，将噪声输入的学生轨迹与干净输入的教师预测进行对齐。

**在线蒸馏损失。** 在每个时间步\(t\)，学生从噪声音频生成一个词汇分布\(\pi_\theta(\cdot | a^n, x, y_{<t})\)，教师从干净音频生成一个分布\(\pi_\phi(\cdot | a^c, x, y_{<t})\)。我们最小化它们的KL散度：
\[
\mathcal{L}_{\text{distill}}^{(i)} = \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} \text{KL}[\pi_\phi(\cdot) \| \pi_\theta(\cdot)],
\]
其中上标\((i)\)索引组中的样本。该损失项鼓励噪声学生的预测分布向干净教师的预测分布靠拢。

**音频感知奖励加成。** 对于每个候选响应\(y_i^{(k)}\)，令\(s_i\)为其在线蒸馏相似度，\(\tilde{r}_i^{(k)}\)为形状奖励：
\[
s_i = \exp\left(-\mathcal{L}_{\text{distill}}^{(i)}\right), \quad \tilde{r}_i^{(k)} = \text{clip}(r_i^{(k)} + \beta \cdot \mathbf{1}[r_i^{(k)} > 0] \cdot s_i, -1, 2).
\]
较大的\(s_i\)表示噪声学生与干净教师之间更一致，\(\beta\)控制音频感知加成的强度。指示函数\(\mathbf{1}[r_i^{(k)} > 0]\)意味着只有具有正原始任务奖励的候选者才能获得此加成；即使其分布接近教师，错误的候选者也不会从此项中获得奖励。裁剪操作稳定了奖励尺度。如果禁用音频感知塑造，则\(\tilde{r}_i^{(k)} = r_i^{(k)}\)。

### 3.3 优化与推理

给定形状奖励，**EchoDistill** 在\(\{\tilde{r}_i^{(k)}\}_{k=1}^K\)上计算组相对优势\(A_i^{(k)}\)，并优化采样的候选者。令\(\ell_\theta^{(k)}\)和\(\ell_\phi^{(k)}\)分别表示在噪声学生和干净教师下\(y_i^{(k)}\)的平均序列对数概率。**EchoDistill** 不使用额外的价值模型或依赖通用的旧策略参考，而是使用干净教师作为同一采样响应的分离参考评分器：
\[
\rho_i^{(k)} = \exp\left(\ell_\theta^{(k)} - \text{sg}[\ell_\phi^{(k)}]\right).
\]
然后使用\(\rho_i^{(k)}\)和\(A_i^{(k)}\)评估裁剪后的组相对损失，得到\(\mathcal{L}_{\text{policy}}^{(i)}\)。该目标鼓励既在噪声输入下获得任务奖励，又在干净音频证据下保持合理的响应。

最终训练损失为：
\[
\mathcal{L}_{\text{EchoDistill}} = \frac{1}{N} \sum_{i=1}^N [\lambda_{\text{policy}} \mathcal{L}_{\text{policy}}^{(i)} + \lambda_{\text{distill}} \mathcal{L}_{\text{distill}}^{(i)}].
\]
仅更新学生参数\(\theta\)；教师在整个训练过程中保持冻结。在推理时，**EchoDistill** 移除教师分支、干净音频和奖励计算，并使用\(\pi_\theta(y | x, a^n)\)进行预测，保留了原始的单模型推理成本。

## 4 实验

在本节中，我们进行实验以回答以下研究问题：

- **RQ1:** **EchoDistill** 在多大程度上提高了音频大语言模型在严重声学噪声下的任务准确率和GSR，它是否有效地缩小了噪声和干净音频输入之间的差距？
- **RQ2:** 框架的各个组件，策略优化和噪声到干净蒸馏，如何独立和联合地对准确率和GSR的观察增益做出贡献？
- **RQ3:** 为什么 **EchoDistill** 在声音和语音领域相比音乐领域表现出特别显著的鲁棒性增益，以及基于对齐的方法如何解决由噪声掩蔽引起的语义漂移？

### 4.1 实验设置

#### 模型与数据。
我们使用干净教师/噪声学生的设置。教师和学生共享相同的骨干网络；教师接收干净音频并保持冻结，而学生接收噪声音频并通过 **EchoDistill** 更新。主要实验涵盖 Qwen2.5-Omni (Chu et al., 2024)、MiniCPM-o-2.6 (Yao et al., 2024) 和 Step-Audio2 (Wu et al., 2025)；消融实验在 Qwen2.5-Omni 上进行。训练和验证使用来自 MMAR (Ma et al., 2025) 的配对干净/噪声音频，包含 14,397 个训练样本和 1,704 个验证样本。数据涵盖 10 种噪声类型 (Hu and Wang, 2010) 和 7 个 SNR 等级 \(\{-10, -5, 0, 5, 10, 20, 30\}\) (Zhang et al., 2026)。主要评估在噪声 MMAU (Kumar et al., 2026) 上，在 \(\text{SNR} = -10\) 下进行。

**表1：** **EchoDistill** 在强噪声（SNR=-10）下，跨三个指标的主要鲁棒性结果：准确率（Acc）、噪声性能（Noisy）和生成成功率（GSR）。与初始性能相比的相对提升（↑）或下降（↓）分别以红色和深蓝色显示。最佳和第二佳结果以**粗体**和下划线突出显示。高亮行代表我们提出的方法。

**基线方法与评价指标。**
我们将 **EchoDistill** 与四种代表性的噪声鲁棒性方法进行比较，包括频域处理方法 STFT (Ephraim and Malah, 2003)、小波变换方法 WT、基于深度学习的去噪方法 DFL (Purwins et al., 2019) 以及表示级噪声抑制方法 SEEN (Zhang et al., 2026)。具体来说，STFT 和 WT 代表传统的基于信号处理的前端去噪方法，DFL 代表一种基于学习的语音增强方法，而 SEEN 直接在 ALLMs 的内部表示空间中抑制噪声相关成分。为了公平比较，所有方法都遵循相同的答案提取协议。我们报告三个指标：Acc (Hendrycks et al., 2020)、Noisy (Zhang et al., 2026) 和 GSR (Benesty et al., 2009)。

### 4.2 任务准确率与生成成功性能（RQ1）

表1总结了在严重声学破坏下的主要鲁棒性结果。由于 GSR 直接反映了 ALLMs 在输入受损时能否维持成功生成，我们将其作为主要的鲁棒性指标，而 Acc 和 Noisy 提供了补充证据。