RAMPHO缓冲区的计算机模拟：通过深度神经网络中的语音熵分离信息掩蔽与能量掩蔽

# 基于深度神经网络的RAMPHO缓冲区内模拟建模：通过音素熵区分信息掩蔽与能量掩蔽

来源：https://arxiv.org/html/2605.22465  
\(2026年5月\)

###### 摘要

多说话人环境中的听觉挑战本质上是一个认知瓶颈，由语言理解轻松度（ELU）模型定义为RAMPHO情景缓冲区的处理失败。当前用于语音增强的深度神经网络仅优化物理声学，未能考虑信息掩蔽的认知代价。本文利用自监督声学模型（wav2vec 2.0）的逐帧音素熵，对RAMPHO缓冲区进行内模拟。通过将语义完整的干扰信号与相位去相关干扰信号（集中护盾）在信噪比（SNR）扫描下进行对比，我们成功地将信息干扰的认知代价与能量衰减的物理代价区分开来。模拟揭示了一个认知-声学帕累托优化问题：在较高SNR下，破坏干扰信号的语义载荷可解除信息掩蔽，但在较低SNR下，这从根本上损害了时间窥探线索。

## 1 引言与理论基础

### 语音感知中的认知瓶颈

多说话人环境中的听觉挑战——鸡尾酒会问题——并不仅仅是声学限制；它更是一个认知瓶颈。传统听力测试和信号处理常将听觉系统视为损坏的麦克风，只关注恢复外周可听度。然而，人类听觉是一个集成的信息处理器。根据语言理解轻松度（ELU）模型（Rönnberg et al., 2013 (https://arxiv.org/html/2605.22465#bib.bib7)），在最佳条件下语音感知依赖于RAMPHO（快速自动多模态音系）情景缓冲区内的快速、隐式处理。该缓冲区将输入的声学特征无缝映射到亚词汇表征，认知负担最小。当信号退化或语义竞争阻止这种自动绑定发生时，隐式系统失效。听者被迫有意识地调动有限的、自上而下的工作记忆资源来修复语音流，导致可测量的听努力和快速的认知疲劳（Rönnberg et al., 2013 (https://arxiv.org/html/2605.22465#bib.bib7)；Pichora-Fuller et al., 2016 (https://arxiv.org/html/2605.22465#bib.bib6)）。

### 能量掩蔽与信息掩蔽

RAMPHO的失效由两种不同机制驱动。**能量掩蔽（EM）**发生在听觉外周，当干扰信号的物理能量实际上覆盖了目标信号（Moore, 2007 (https://arxiv.org/html/2605.22465#bib.bib5)）。相比之下，**信息掩蔽（IM）**是一种中枢认知干扰。当背景噪声具有高度可懂度——例如一个竞争说话者——它携带了清晰的语言载荷，不由自主地劫持了听者的语义处理网络（Kidd & Conroy, 2023 (https://arxiv.org/html/2605.22465#bib.bib4)）。IM的认知代价通常超过EM，因为大脑必须消耗明确的执行控制来抑制可识别的语义轨迹。

此外，人类听者自然通过利用背景噪声的时间波动来对抗掩蔽。通过"声学窥探"过程，听觉系统将在波动掩蔽器的时间凹陷中存活的瞬时目标线索拼接起来（Cooke, 2006 (https://arxiv.org/html/2605.22465#bib.bib2)）。如果掩蔽器是稳态的，这些时间窗口会关闭，大大增加能量代价。

### 机器听觉中的方法论鸿沟

尽管经过数十年的心理声学表征，现代工程方法仍然与这些生物学现实严重脱节。当前的客观语音指标，如语音可懂度指数（SII）或感知语音质量评估（PESQ），仅作为理想化的外周；它们评估声学保真度，但对语义干扰的认知惩罚完全视而不见。

同样，现代听力技术中使用的先进深度神经网络（DNN）通过严格优化物理声学，实现了前所未有的信噪比（SNR）提升。然而，这些架构以近乎无限的上下文和完美的工作记忆处理音频，缺乏人类思维的生物限制。因此，激进的降噪算法可能在数学上提高背景说话者的SNR，无意中澄清其语言载荷。这实际上解除了竞争说话者的掩蔽，将可控的能量负荷替换为毁灭性的信息负荷。

要工程化真正保护认知资源而非仅仅放大声音的听力技术，我们必须从测量缺失的声学转向绘制人脑精确的计算临界点。我们需要一个能够区分信息干扰的认知代价与能量衰减的物理代价的RAMPHO缓冲区*内模拟*模型。

## 2 研究问题与假设

**研究问题**：自监督声学模型（wav2vec 2.0）的逐帧音素熵能否作为RAMPHO缓冲区的*内模拟*代理，以客观量化和区分信息掩蔽（IM）与能量掩蔽（EM）的认知代价？

**假设**：音素熵（\(H\)）将准确追踪RAMPHO隐式处理的临界点。

- 在较高SNR下，可懂干扰信号将比相位去相关干扰信号引发显著更高的熵（IM代价），反映语义竞争。
- 在较低SNR下，去相关干扰信号将引发最高的熵（EM代价），因其物理上模糊了时间精细结构，阻止了目标解析所需的声学窥探。

## 3 方法

### 3.1 刺激生成与掩蔽条件

为了解耦能量和信息负荷，一个英语目标叙述与三种不同的掩蔽信号混合，跨越信噪比（SNR）扫描（0、5、10、15和20 dB，加上100 dB的纯净基线）。使用ITU-T P.56 Active RMS归一化校准活动语音电平（ITU-T, 1993 (https://arxiv.org/html/2605.22465#bib.bib3)）。

三种掩蔽条件定义如下：

- **自然可懂掩蔽器（ENG）**：一个竞争的男性英语说话者。该条件通过语义竞争引入波动的能量掩蔽和高度的信息掩蔽。
- **集中护盾（去相关掩蔽器 - CS）**：相同的英语说话者，但施加了针对性的数字信号处理（DSP）干预。通过快速傅里叶变换（FFT）隔离语音关键频带（1–4 kHz），并完全随机化相位信息。为防止硬频谱不连续性导致的对抗性时间模糊伪影，在1 kHz和4 kHz交叉边界处应用汉宁窗渐变。这种频谱手术破坏了语言载荷或语音传输指数（Steeneken & Houtgast, 1980 (https://arxiv.org/html/2605.22465#bib.bib8)），同时保留了全局RMS能量和低频（<1 kHz）空间锚定线索。该条件引入零IM但高的连续EM。
- **语音成形噪声（SSN）**：匹配长期平均语音频谱的稳态噪声，作为纯能量掩蔽的标准控制，无时间幅度调制。

### 3.2 *内模拟* RAMPHO代理

为模拟RAMPHO缓冲区的快速隐式音系处理，音频混合物通过一个预训练的自监督声学模型（`facebook/wav2vec2-base-960h`）（Baevski et al., 2020 (https://arxiv.org/html/2605.22465#bib.bib1)）处理。为访问亚词汇表征，使用了连接主义时间分类（CTC）线性投影头。虽然wav2vec 2.0采用非因果的未来上下文的双向变换器——从根本上超过人类实时处理限制——但它在此作为隐式特征提取的理想化上界代理，直到未来架构中工程化严格的时序约束。

音频重采样至16 kHz并归一化。对于每20 ms帧，网络执行前向传递提取原始logits，然后应用Softmax激活生成英语词汇上的概率分布。

### 3.3 度量计算：音素熵

隐式认知负荷数学定义为任何给定帧上音素分类的歧义性。通过计算Softmax概率分布的香农熵（\(H\)）来量化。

为确保低熵状态确实反映音系绑定而非声学静音，明确排除了CTC"空白"令牌。剩余概率在活跃语言词汇（\(K=31\)）上重新归一化：

\[ H[n] = -\sum_{i=1}^{31} \left( \frac{P(x_i)}{1 - P(\text{blank})} \right) \log_2 \left( \frac{P(x_i)}{1 - P(\text{blank})} + \epsilon \right) \tag{1} \]

其中 \(P(x_i)\) 是帧 \(n\) 处音素/字符 \(i\) 的概率，\(\epsilon\) 是一个可忽略的常数，防止对零取对数。

低熵值表明网络（代理RAMPHO缓冲区）自信地解析了一个音素类别，模拟自动、 effortless的处理。高熵值表明平坦的概率分布（音素歧义），模拟隐式缓冲区的失败以及必要地调动显式工作记忆来修复语音流。

## 4 结果

### 信息掩蔽与能量掩蔽的区分

从*内模拟* RAMPHO代理中提取的逐帧音素熵（\(H\)）成功捕获了SNR扫描中信息与能量处理负荷之间的非线性交叉。

### 信息掩蔽的解除（高SNR区间）

在有利的信噪比（15到20 dB）下，模拟客观量化了语义处理代价。可懂自然掩蔽器（ENG）相比稳态能量控制（SSN；\(H \approx 0.11\) 在20 dB）保持了显著更高的熵状态（\(H \approx 0.16\) 在20 dB）。由于在+20 dB时目标的外周可听度接近完美，这一差距代表纯粹的信息掩蔽：中枢语义竞争驱动分类层内的歧义。

当干扰信号通过集中护盾（CS）进行频谱手术后，熵曲线完美收敛于SSN基线。通过在语音关键频带（1–4 kHz）中去相关相位，语言载荷被破坏。网络立即将流丢弃为不可解析的噪声，提供了信息掩蔽的完全解除，使系统回到低努力的自动处理状态。

### 时间模糊代价（低SNR区间）

在严重噪声水平（0到5 dB）下，相对处理成本发生反转。可懂掩蔽器（\(H \approx 0.67\) 在0 dB）优于CS条件（\(H \approx 0.85\) 在0 dB），尽管其携带更高的语义载荷。

这展示了时间窥探的关键边界。未修改的英语掩蔽器尽管具有语义干扰性，但包含自然的幅度调制，允许网络在时间凹陷中提取目标声学特征。CS条件的相位随机化破坏了这些时间间隙，将干扰信号转变为密集的对抗性能量掩蔽器。由此产生的音素歧义峰值经验性地映射了刚好在结构模糊的能量代价超过语义破坏的认知缓解的精确阈值。

![图1](https://arxiv.org/html/2605.22465/x1.png)

图1: RAMPHO缓冲区：信息掩蔽与能量掩蔽的交叉。逐帧音素熵（\(H\)）随SNR扫描变化，展示了客观的认知-声学阈值。

## 5 讨论与未来方向

### 认知-声学帕累托优化

这些发现挑战了听力设备数字信号处理中严格最大化客观SNR的现有范式。*内模拟*证明，在可听度极限处，认知负荷是一种零和权衡。抑制干扰信号的语义轨迹（减少IM）必然损害时间地标（增加EM）。因此，下一代"认知助听器"不能依赖静态空间滤波器；它们必须动态求解一个认知-声学帕累托优化问题，根据即时环境SNR和用户的具体工作记忆容量调整其DSP策略。

### 构建"认知ASR"

虽然音素熵成功代理了隐式RAMPHO缓冲区歧义，但当前自监督声学模型（如wav2vec 2.0）具有近乎无限的上下文窗口，未能模拟人类听者的显式记忆限制。为了将这一流水线发展为临床DSP算法的严格*内模拟*试验台，未来架构必须故意削弱ASR以模拟生物边界：

1. **模拟回声记忆衰减**：生物感觉痕迹迅速衰减（2–4秒）。未来模型将在变换器的自注意力矩阵中引入指数时间衰减惩罚（\(\tau\)），迫使模型丢失历史声学上下文，与人类感觉衰减相同。
2. **通过束搜索模拟工作记忆容量**：ELU模型规定，当RAMPHO缓冲区失败时，显式工作记忆被调动以修复语义流。这一容量限制将通过严格约束束搜索解码器宽度（维护的并行语言假设数量）来模拟。通过连续逐帧滑动目标与掩蔽器，我们将绘制精确的时间重叠（\(\Delta t\)），该重叠会淹没被约束的解码器中的语义竞争者，导致目标跟踪灾难性崩溃。

## 参考文献

- Baevski et al. (2020) Baevski, A., Zhou, Y., Mohamed, A. and Auli, M. (2020). wav2vec 2.0: A framework for self-supervised learning of speech representations. *Advances in Neural Information Processing Systems*, 33, pp.12449–12460.
- Cooke (2006) Cooke, M. (2006). A glimpsing model of speech perception in noise. *The Journal of the Acoustical Society of America*, 119(3), pp.1562–1573.
- ITU-T (1993) ITU-T. (1993). *Recommendation P.56: Objective measurement of active speech level*. International Telecommunication Union.
- Kidd & Conroy (2023) Kidd, G. Jr. and Conroy, C. (2023). Auditory Informational Masking. *Acoustics Today*, 19(1), pp. 30–38.
- Moore (2007) Moore, B.C.J. (2007). *Cochlear Hearing Loss*. 2nd ed. London: Whurr Publishers.
- Pichora-Fuller et al. (2016) Pichora-Fuller, M.K., Kramer, S.E., Eckert, M.A., Edwards, B., Hornsby, B.W., Humes, L.E., Lemke, U., Lunner, T., Matthen, M., Mackersie, C.L. and Naylor, G. (2016). Hearing impairment and cognitive energy: The framework for understanding effortful listening (FUEL). *Ear and Hearing*, 37, pp.5S–27S.
- Rönnberg et al. (2013) Rönnberg, J., Lunner, T., Zekveld, A., Sörqvist, P., Danielsson, H., Lyxell, B., Dahlström, O., Signret, C., Stenfelt, S., Pichora-Fulle