联邦多语言语音LLMs的组件感知差分隐私

# 面向多模态语音语言模型的组件感知差分隐私
来源：https://arxiv.org/html/2609.11762  
作者：Jordi Luque（单位：西班牙巴塞罗那Telefónica创新数字研究中心），Fernando López（单位：西班牙马德里Telefónica创新数字 / 马德里自治大学），Aleix Sant（单位：西班牙巴塞罗那Telefónica创新数字研究中心 / 加泰罗尼亚理工大学）

## 摘要
逐层差分隐私（DP）裁剪通过按参数量比例分配裁剪预算，在联邦学习中提升了梯度保真度。研究表明，该方法在语音大语言模型（语音-LLM）中会失效——当声学编码器与语言解码器的更新范数存在数量级差异时，单池逐层方法将遭遇**跨组件预算崩溃**，导致词错误率（WER）远差于全局平坦裁剪，甚至完全破坏训练过程。当范数失衡较轻时，自适应单池方法可部分恢复性能，证实崩溃严重程度与组件间范数比正相关。我们通过六种逐层方法和三种语音-LLM架构对根本原因进行了实证诊断。随后提出**α-分割**方案，将编码器与LLM参数分别归一化至独立池中，并证明该设计在保持联合$\ell_2$敏感性及原始$(\varepsilon,\delta)$-DP保证不变的前提下，能有效缓解崩溃。在架构校准的α值下，本方法相较平坦DP可恢复WER效用，同时为编码器提供$4.47\times$的更严格组件级噪声保护（仅增加$+2.6\%$的LLM噪声开销），从而抵御基于说话人声纹的梯度逆向攻击。

**关键词**：联邦学习、差分隐私、语音识别、大语言模型、逐层裁剪、LoRA

## I 引言
大语言模型（LLM）与语音基础模型正被广泛结合，用于构建面向自动语音识别（ASR）、语音理解和会话应用的端到端语音-LLM系统[1,2]。这类架构通常耦合三个异构组件：声学编码器、跨模态连接器与语言解码器[3,4]。尽管模块化设计提升了迁移能力与下游性能，却也在各组件间引入了优化不对称性，尤其在分布式与隐私敏感的训练环境中。联邦学习（FL）[5]因其原始音频具有隐私敏感性、高带宽消耗且受数据治理策略约束，成为语音应用的天然范式。然而，语音-LLM的实际FL部署面临两大挑战：首先，客户端数据在说话人、口音、麦克风与声学环境间呈现强非独立同分布特性，导致更新分布不稳定[6]；其次，差分隐私（DP）机制[7,8,9]（尤其是基于裁剪的方法）对多模态多组件模型的优化动态影响尚未被充分理解。  

为在联邦学习中实现形式化的$(\varepsilon,\delta)$-DP[8]，**梯度裁剪**是基本数学要求：服务器注入校准高斯噪声前，必须将每个客户端更新的$\ell_2$敏感性严格限制在裁剪预算$C$内。标准DP-FL对全连接更新应用单一**全局**$C$。尽管多数先前FL+DP研究基于全局超参数报告聚合效用-隐私权衡[6]，但此方法在架构上具有盲目性——编码器LoRA适配器、连接器投影与LLM适配器尽管更新幅值和敏感性需求截然不同，却受到相同裁剪。近期工作[10]表明，**逐层**裁剪（即每个参数矩阵根据其规模获得独立预算）在同质单组件ASR中显著优于全局平坦裁剪。  

我们发现该方案在多模态语音-LLM中会失效：当编码器/LLM更新范数比足够大时，该最先进方案[10]会系统性**崩溃**。此时编码器庞大的参数量会在结构上稀释LLM的裁剪预算。我们考察了六种单池逐层方法，发现所有方法均遭遇严重的跨组件预算崩溃，导致效用指标词错误率（WER）要么远偏离平坦全局裁剪基准，要么完全破坏训练。为突破瓶颈，我们形式化了组件感知隐私分配的必要性，主要贡献如下：  

1. **跨组件预算崩溃的精确诊断**：实证表明，当编码器/LLM范数失衡极端（$\geq 10\times$）时，单池方法在关键预热轮次会经历严重预算崩溃，亟需结构性解决方案。  
2. **自适应单池公式**：将按规模比例的逐层裁剪概念[10]适配至参数化LoRA矩阵，并引入动态梯度范数跟踪机制。实验验证该公式能动态纠正语音-LLM中轻度编码器/LLM范数失衡。  
3. **结构性$\alpha$-分割DP设计**：提出组件感知策略，将梯度归一化解耦为两个独立池，分别为声学编码器分配预算$C\sqrt{\alpha}$、为LLM解码器分配$C\sqrt{1-\alpha}$。证明该分离在严格保持联合$\ell_2$敏感性及全局$(\varepsilon,\delta)$-DP数学保证的同时，能完全避免预算崩溃。  
4. **运行区间划分与非对称生物特征隐私**：明确部署指南：自适应逐层方法适用于轻度失衡（Voxtral-Mini-3B实测$\approx 1.7\times$），而$\alpha$-分割方法则适用于极端失衡（Whisper+TinyLlama/EuroLLM实测$\approx 12\times$）。此外，$\alpha$-分割公式能为声学编码器提供更严格的有效噪声乘数，以可忽略的LLM噪声开销实现对敏感生物特征数据的强化声学保护。

## II 语音-LLM框架与私有联邦设置
### II-A 语音-LLM架构  
*语音-LLM*耦合三个异构组件：声学编码器（$\mathcal{E}$）、跨模态连接器（$\mathcal{C}$）与语言解码器（$\mathcal{L}$），生成转录文本：  
$$\hat{\mathbf{y}}=\mathcal{L}\left([\mathcal{C}(\mathcal{E}(\mathbf{x}));\,\mathbf{E}_{\mathrm{text}}]\right) \tag{1}$$  
图1展示了完整流程。所有组件通过最小化针对真实转录词元$\mathbf{y}=(y_1,\ldots,y_S)$的标准自回归交叉熵损失进行联合训练：  
$$\mathcal{L}_{\mathrm{CE}}(\theta)=-\sum_{s=1}^S \log p_\theta\left(y_s\mid \mathcal{C}(\mathcal{E}(\mathbf{x})),\mathbf{E}_{\mathrm{text}},y_{<s}\right) \tag{2}$$  

### II-B 私有联邦学习  
在FL中，服务器维护全局模型$\theta^t$，在第$t$轮分发至$N$个客户端。每个客户端$k$基于本地数据$\mathcal{D}_k$计算更新$\Delta_k^t=\theta_k^t-\theta^t$。  
为实现$(\varepsilon,\delta)$-DP[8]，服务器在聚合前对每个客户端更新$\Delta_k^t$进行**裁剪**：  
$$\tilde{\Delta}_k^t = \Delta_k^t \cdot \min\left(1, \frac{C}{\|\Delta_k^t\|_2}\right) \tag{3}$$  
随后注入校准高斯噪声：  
$$\Delta_{\mathrm{DP}}^t = \frac{1}{N}\sum_{k=1}^N \tilde{\Delta}_k^t + \mathcal{N}\left(0, \left(\frac{\sigma C}{N}\right)^2 \mathbf{I}\right) \tag{4}$$  
更新全局模型：$\theta^{t+1} = \theta^t - \eta \Delta_{\mathrm{DP}}^t$。  
敏感性分析表明，当$\ell_2$敏感性满足$\Delta = C$时，高斯机制可满足$(\varepsilon,\delta)$-DP[8]。  

### II-C 实验设置与模型  
采用Whisper-tiny编码器[3]与TinyLlama-1.1B/0.3B[11]语言模型，通过线性投影连接器组合。语音-LLM组件详情：  
- **声学编码器**：Whisper-tiny（$p=39\text{M}$参数）  
- **语言模型**：TinyLlama-1.1B（$p=1.1\text{B}$）或TinyLlama-0.3B（$p=0.3\text{B}$）  
- **连接器**：线性层（$d_{\mathrm{enc}}\times d_{\mathrm{LM}}$）  

使用LoRA适配器[12]（秩$r=4$）高效微调。LoRA矩阵分布：  
- 编码器：12层$\times$2矩阵（$q,k$投影）  
- LLM：22层$\times$2矩阵（$q,k$投影）  
- 连接器：1层$\times$2矩阵  

在Voxtral-Mini-3B[13]基准上测量初始更新范数（图3），编码器/LLM范数比约$\sim 12\times$。  

### II-D 研究问题与分析框架  
我们聚焦：**(RQ1)** 为何逐层裁剪在语音-LLM中崩溃？**(RQ2)** 如何设计结构化解法？  
分析框架包含三个维度：  
1. **效用度量**：WER（LibriSpeech-clean[14]）  
2. **隐私分析**：有效噪声乘数$\sigma_{\mathrm{eff}}=\sigma/\sqrt{p_\ell}$  
3. **崩溃检测**：监控梯度范数$\|\nabla_\ell\|_2$与裁剪比例  

## IV 差分隐私方法评估  
我们使用不同策略在语音-LLM各层间分配$C$预算进行FL-DP实验。所有方法共享$C=1.0$、$\sigma=0.1$及服务器高斯噪声$\mathcal{N}\left(0,\left(\sigma C/n\right)^2 \mathbf{I}\right)$。  
文献[10]中的方法将式(3)的全局裁剪替换为逐层$\ell_2$预算，按层（LoRA秩矩阵）规模$p_\ell$比例分配$C^2$：  
$$C_\ell=C\cdot\sqrt{\frac{p_\ell}{\sum_k p_k}}, \quad \text{使得}\quad \sqrt{\sum_\ell C_\ell^2}=C \tag{9}$$  
这种*欧几里得紧*分配[10]最初为同质单组件模型设计，是本研究所有方法的基础：  

- **平坦**：DP-FedAvg基线[9]，即对式(5)的全连接更新应用单一范数$C$，无逐层结构。  
- **PFL-均匀**：在LoRA矩阵间均匀分配预算$C_\ell=C/\sqrt{H}$，$H$为适配层总数。  
- **PFL-维度**：通过式(9)按规模比例分配，即文献[10]的"dim-prop"变体，适配LoRA秩矩阵。  
- **PFL-均匀+EMA**与**PFL-维度+EMA（自适应）**：实现指数移动平均（EMA）变体，基于观测梯度范数动态重调逐层预算。在FL轮次$t$，平滑层范数估计更新为：  
$$\hat{\nu}_{\ell}^{(t)}=(1-\beta)\,\hat{\nu}_{\ell}^{(t-1)}+\beta\,\nu_{\ell}^{(t)} \tag{10}$$  
其中$\nu_{\ell}^{(t)}$为轮次$t$层$\ell$的平均客户端更新范数，$\beta=0.2$为衰减率。分配权重与逐层范数为：  
$$w_{\ell}^{\text{target}}\propto\bigl(\hat{\nu}_{\ell}\bigr)^{\gamma}\cdot w_{\ell}^{\text{base}},\quad C_\ell=C_t\sqrt{w_\ell} \tag{11}$$  
$\gamma=0.75$，$w_{\ell}^{\text{base}}$为各变体PFL-维度或PFL-均匀的初始化值。前三轮预热期权重冻结为$w_{\ell}^{\text{base}}$。  
- **$\alpha$-分割（静态）**：编码器与LLM+连接器视为独立池，预算分别为$C\sqrt{\alpha}$与$C\sqrt{1-\alpha}$。详见IV-A节。后缀"-e"（如PFL-维度-e）表示编码器解冻变体；无后缀表示编码器冻结训练。  

### IV-A $\alpha$-分割设计  
#### IV-A1 公式  
设$\alpha\in(0,1)$为*组件预算比例*超参数，控制$C^2$中分配给编码器的份额。编码器与LLM+连接器参数采用*独立*逐层预算裁剪：  
$$C^{\text{enc}}_\ell = C\sqrt{\alpha}\sqrt{\frac{p_\ell}{\sum_{k\in\mathcal{E}} p_k}},\quad \ell\in\mathcal{E} \tag{12}$$  
$$C^{\text{LLM}}_\ell = C\sqrt{1-\alpha}\sqrt{\frac{p_\ell}{\sum_{k\in\mathcal{L}} p_k}},\quad \ell\in\mathcal{L} \tag{13}$$  
每个池内部保持欧几里得紧性。连接器归属于$\mathcal{L}$，因将其归入$\mathcal{E}$会错误增加编码器预算。Whisper+{TinyLlama,EuroLLM}使用的线性连接器共含$\sim4,096$参数，在$\mathcal{L}$中可忽略。  

表II：编码器与LLM（Whisper+TinyLlama）逐层裁剪范数 vs. $\alpha$（平坦-e参考：$\bar{C}_\ell^{\text{LLM}}=0.1474$）  
| $\alpha$ | $\bar{C}_\ell^{\text{enc}}$ | $\bar{C}_\ell^{\text{LLM}}$ | LLM / 平坦-e | 备注 |
|---------|-------------------|-------------------|------------|------|
| 0.00 | 0.000 | 0.1503 | 1.020 | 编码器冻结 |
| 0.01 | 0.013 | 0.1495 | 1.014 | 最小编码器信号 |
| 0.05 | 0.028 | 0.1465 | 0.994 | <<1% LLM损失 |
| 0.10 | 0.040 | 0.1426 | 0.967 | <<5% LLM损失 |
| 0.20 | 0.056 | 0.1345 | 0.912 | PFL-维度+EMA-e稳态 |
| 0.50 | 0.088 | 0.1063 | 0.721 | 预算各半 |

#### IV-A2 敏感性与隐私保持  
设$c_{\mathcal{E}}=\|\text{clipped}_{\mathcal{E}}\|_2$、$c_{\mathcal{L}}=\|\text{clipped}_{\mathcal{L}}\|_2$，则$\ell_2$敏感性为：  
$$\Delta = \sqrt{c_{\mathcal{E}}^2 + c_{\mathcal{L}}^2} \leq \sqrt{\alpha C^2 + (1-\alpha)C^2} = C \tag{14}$$  
敏感性保持$C$不变。服务器高斯噪声$\mathcal{N}\left(0,\left(\sigma C/n\right)^2 \mathbf{I}\right)$无需修改，Rényi DP会计、$\varepsilon$与$\delta$均与平坦-DP一致。故$\alpha$是纯效用-组件隐私权衡参数。  

#### IV-A3 $\alpha$选择  
表II显示LLM逐层预算随$\alpha$的变化。选择$\alpha=0.05$，因为：(i) LLM保留平坦-e预算的99.4%，回归风险可忽略；(ii) 编码器裁剪范数（0.028）约为观测更新范数（0.013）的$2\times$，能提供充足梯度信号而不致近100%裁剪。这两个标准仅依赖参数量与编码器/LLM更新范数比，可在部署前通过任何公共语料测量，使$\alpha$选择完全兼容隐私。  

图4：有效组件噪声乘数 vs. 编码器预算比例$\alpha$。实线：$\alpha$-分割-e（编码器红色，LLM蓝色）；虚线：平坦-e参考（$\sigma_{\mathrm{eff}}=\sigma$）。在$\alpha^*=0.05$（垂直虚线）处，编码器获得$4.47\times$更严格的组件级隐私保护，LLM仅增加$+2.6\%$开销，且联合$(\varepsilon,\delta)$保证不变。  

#### IV-A4 组件级隐私优势  
平坦-DP在相同$(\varepsilon,\delta)$下应达到效用上限（ASR任务更低WER）。任何全局敏感性为$C$的逐层方法均按$C$校准噪声，故$\min(\sigma_{\mathrm{eff}}^{\mathcal{E}},\sigma_{\mathrm{eff}}^{\mathcal{L}})\geq\sigma$。$\alpha$-分割的真正优势是**非对称组件级隐私**：编码器池限制于$C\sqrt{\alpha}$，其有效噪声乘数为$\sigma_{\mathrm{eff}}^{\mathcal{E}}=\sigma/\sqrt{\alpha}=0.447$，是平坦-e的$4.47\times$；LLM仅支付$\sigma_{\mathrm{eff}}^{\mathcal{L}}=\sigma/\sqrt{1-\alpha}=0.103$，相对平坦-e仅$+2.6\%$。图4可视化了$\sigma_{\mathrm{eff}}$随$\alpha$的变化，证实小$\alpha$下编码器隐私增益陡峭而LLM开销平缓。由于编码器池限制于$C\sqrt{\alpha}$，执行梯度逆向的攻击者对声学编码器更新的了解减少$4.47\times$，直接保护说话人生物特征属性（口音、韵律、声音身份）。