通过激活引导克服全双工语音语言模型中的状态惯性

# 克服全双工口语语言模型中的状态惯性：通过激活引导实现源头：https://arxiv.org/html/2606.11386

###### 摘要

全双工口语语言模型（FD-SLM）能够同时收听和说话，从而实现无缝语音交互，但其协调听与说的内部机制仍未得到充分探索。我们分析了FD-SLM隐藏表示中编码的预测行为，发现它们表现出流特定的预测模式：在收听时，它们优先预测传入的用户流；而在说话时，它们优先预测模型输出流。基于这一观察，我们表明FD-SLM在两个状态之间动态调制其内部预测焦点：与模型输出生成对齐的*生成状态*和与传入用户输入对齐的*感知状态*。然而，这种调制可能滞后于对话上下文的突然变化。在用户打断时，模型在过渡到感知状态之前会短暂地偏向于生成状态，导致其错过传入输入的开头部分。我们将这种内部延迟转换称为**状态惯性**。为了量化其对下游的影响，我们引入了**零缓冲基准测试（ZBB）**，这是一个诊断性基准，用于评估当用户语音突然开始时模型对打断的即时理解能力。我们使用响应正确性和首词出现率（IWOR）来评估这一设置。最后，我们通过使用*感知向量*进行激活引导来缓解状态惯性，这是一种无需训练且计算开销极小的干预方法。在多个最先进的FD-SLM上，激活引导显著改善了打断处理；例如，在PersonaPlex上，正确性从28%提升至45%，IWOR从40%提升至72%，且无需任何微调。

## 1 引言

实现人类水平的对话流畅性一直是口语对话系统的核心目标[2 (https://arxiv.org/html/2606.11386#bib.bib2),18 (https://arxiv.org/html/2606.11386#bib.bib37),21 (https://arxiv.org/html/2606.11386#bib.bib43)]。近年来，*全双工口语语言模型（FD-SLM）*因其能够同时收听和说话而受到越来越多的关注，突破了传统半双工口语语言模型（HD-SLM）严格的轮换交互模式[6 (https://arxiv.org/html/2606.11386#bib.bib38),5 (https://arxiv.org/html/2606.11386#bib.bib52),10 (https://arxiv.org/html/2606.11386#bib.bib44),39 (https://arxiv.org/html/2606.11386#bib.bib46),21 (https://arxiv.org/html/2606.11386#bib.bib43),26 (https://arxiv.org/html/2606.11386#bib.bib39),14 (https://arxiv.org/html/2606.11386#bib.bib53),42 (https://arxiv.org/html/2606.11386#bib.bib54),46 (https://arxiv.org/html/2606.11386#bib.bib55)]。在实践中，FD-SLM通常采用双通道结构[33 (https://arxiv.org/html/2606.11386#bib.bib47),13 (https://arxiv.org/html/2606.11386#bib.bib45),22 (https://arxiv.org/html/2606.11386#bib.bib28),2 (https://arxiv.org/html/2606.11386#bib.bib2)]，共同处理包含传入用户语音的用户流和代表模型自身语音的模型流。这种设计使得模型能够实现时间敏感的对话行为，如回馈、顺畅的打断处理、流畅的轮流说话和同步交互[6 (https://arxiv.org/html/2606.11386#bib.bib38),26 (https://arxiv.org/html/2606.11386#bib.bib39),24 (https://arxiv.org/html/2606.11386#bib.bib48),11 (https://arxiv.org/html/2606.11386#bib.bib4)]。尽管具备这些能力，FD-SLM协调听与说的内部机制仍未得到充分探索。

受*logit lens*[27 (https://arxiv.org/html/2606.11386#bib.bib20),4 (https://arxiv.org/html/2606.11386#bib.bib19),30 (https://arxiv.org/html/2606.11386#bib.bib51)]的启发，我们分析了FD-SLM隐藏表示中编码的预测行为。我们的分析揭示了“流特定”的预测模式：*在收听时，隐藏表示优先预测传入的用户流；而在说话时，它们优先预测模型输出流*。我们进一步发现，*FD-SLM通过动态调制两个状态来协调听与说的行为：即“生成状态”和“感知状态”*。然而，这种调制并非总能按需成功。特别是，我们发现当用户在模型说话时突然打断，模型会短暂地偏向于生成状态，无法迅速过渡到感知状态。我们将这种现象称为“状态惯性”。状态惯性导致模型在发生打断时错过用户输入。这种信息损失会降低模型响应的质量。有趣的是，“状态惯性”类似于人类听觉处理中的语音诱发抑制现象，即语音产生会抑制听觉皮层的活动并增加听觉响应延迟[28 (https://arxiv.org/html/2606.11386#bib.bib31),20 (https://arxiv.org/html/2606.11386#bib.bib32)]。

为了量化状态惯性的影响，我们引入了**零缓冲基准测试（ZBB）**，这是一个诊断性基准，用于衡量FD-SLM能否在打断后立即理解用户输入。与现有评估整体对话质量的基准不同[26 (https://arxiv.org/html/2606.11386#bib.bib39),29 (https://arxiv.org/html/2606.11386#bib.bib35),49 (https://arxiv.org/html/2606.11386#bib.bib5),40 (https://arxiv.org/html/2606.11386#bib.bib6)]，ZBB将关键语义关键词作为打断话语的第一个词，且没有前导填充词或声学缓冲区[8 (https://arxiv.org/html/2606.11386#bib.bib7),15 (https://arxiv.org/html/2606.11386#bib.bib8)]。这种设计直接测试模型在打断后是否能感知到最早的语义信息，而这正是状态惯性最可能影响感知的时刻。我们使用响应正确性和首词出现率（IWOR）来评估模型性能。在多个FD-SLM上，打断显著降低了这两项指标，表明状态惯性具有可测量的行为后果。

最后，我们使用一种无需训练的*激活引导*方法来缓解状态惯性[38 (https://arxiv.org/html/2606.11386#bib.bib9),51 (https://arxiv.org/html/2606.11386#bib.bib18),32 (https://arxiv.org/html/2606.11386#bib.bib3)]。我们通过生成状态与感知状态之间的隐藏表示差异构建一个*感知向量*，并在打断发生时将其注入，以引导模型转向感知状态。这种引导无需微调，仅增加轻量级的推理时隐藏状态更新。实验表明，使用感知向量进行引导在多个FD-SLM上一致地改善了打断处理；例如，在PersonaPlex[33 (https://arxiv.org/html/2606.11386#bib.bib47)]上，正确性从28%提升至45%，IWOR从40%提升至72%。

综上所述，我们的主要贡献如下：
- • **内部状态分析与状态惯性**：我们表明FD-SLM隐藏表示表现出流特定的预测行为，并在生成状态与感知状态之间动态调制。基于这一分析，我们识别出**状态惯性**，这是一种内部延迟转换，会降低模型处理突然用户打断的能力。
- • **零缓冲基准测试（ZBB）**：我们引入ZBB，这是一个诊断性基准，用于评估当用户语音突然开始时模型对打断的即时理解能力，并结合正确性和首词出现率（IWOR）进行评估。
- • **通过激活引导实现无需训练的缓解**：我们引入了一种基于感知向量的无需训练的激活引导方法，该方法缓解了状态惯性，并在多个FD-SLM上显著改善了打断处理。

参见图注

**图1：状态惯性与激活引导概述。** (a) FD-SLM处理并发用户流和模型流，基于传入的用户音频和之前生成的模型输出token来生成文本和音频token。 (b) FD-SLM通过在生成状态和感知状态之间调制来协调说话与收听，通过生成亲和度和感知亲和度进行追踪。在突然打断期间，模型可能在过渡到感知状态之前仍偏向于生成状态，导致用户早期输入被错过。在打断开始时注入感知向量可加速这一过渡并改善打断处理。

## 2 相关工作

#### 全双工口语语言模型。
许多现有的口语语言模型遵循半双工交互模式，顺序处理输入和输出语音，并依赖听与说之间明确的轮流边界[16 (https://arxiv.org/html/2606.11386#bib.bib10),45 (https://arxiv.org/html/2606.11386#bib.bib11),48 (https://arxiv.org/html/2606.11386#bib.bib34)]。这种僵化的交互模式可能使对话显得不自然，尤其在涉及打断、回馈或重叠语音的场景中[34 (https://arxiv.org/html/2606.11386#bib.bib42)]。相比之下，全双工口语语言模型（FD-SLM）支持实时的双向语音交互，允许模型在生成语音响应的同时持续感知用户音频[2 (https://arxiv.org/html/2606.11386#bib.bib2),39 (https://arxiv.org/html/2606.11386#bib.bib46),50 (https://arxiv.org/html/2606.11386#bib.bib12)]。这种能力使得更自然的对话行为成为可能，包括回馈、打断处理和重叠语音[26 (https://arxiv.org/html/2606.11386#bib.bib39)]。受这些优势的推动，近期工作开发了多个全双工系统，包括开源模型如Moshi[13 (https://arxiv.org/html/2606.11386#bib.bib45)]、PersonaPlex[33 (https://arxiv.org/html/2606.11386#bib.bib47)]和Raon-SpeechChat[22 (https://arxiv.org/html/2606.11386#bib.bib28)]。尽管这些系统展示了全双工交互的前景，但它们协调同时听与说的内部机制仍未被充分探索。

#### FD-SLM基准测试。
现有的FD-SLM基准测试[24 (https://arxiv.org/html/2606.11386#bib.bib48),23 (https://arxiv.org/html/2606.11386#bib.bib49),29 (https://arxiv.org/html/2606.11386#bib.bib35),6 (https://arxiv.org/html/2606.11386#bib.bib38)]主要评估宏观的对话属性。这些包括轮流动态（如正确获取或让出话语权）、端到端响应延迟、整体指令遵循以及诸如回馈等全双工特定行为。然而，这些基准测试在很大程度上忽略了一个关键的细粒度能力：模型在突然打断后能否准确识别用户输入。这一区分很重要，因为模型可能最终恢复并生成合理的响应，但仍然错过了打断话语开头的信息。在本工作中，我们评估这种时刻级的倾听能力，这在第4节 (https://arxiv.org/html/2606.11386#S4)中讨论。

#### 激活引导。
激活引导通过在推理时向隐藏状态注入引导向量来修改模型行为，通常使用对比概念或行为之间的平均激活差异[51 (https://arxiv.org/html/2606.11386#bib.bib18),38 (https://arxiv.org/html/2606.11386#bib.bib9),32 (https://arxiv.org/html/2606.11386#bib.bib3)]。先前的工作已使用引导来控制文本生成行为，如指令遵循、角色修改、漏洞分析和表示探测[35 (https://arxiv.org/html/2606.11386#bib.bib36),7 (https://arxiv.org/html/2606.11386#bib.bib1),41 (https://arxiv.org/html/2606.11386#bib.bib50),1 (https://arxiv.org/html/2606.11386#bib.bib29)]。而我们则将激活引导应用于FD-SLM，用于引导隐藏表示处理用户输入，从而改善对打断的即时处理。

## 3 全双工SLM的内部机制

### 3.1 全双工口语语言模型

如图1 (https://arxiv.org/html/2606.11386#S1.F1)所示，全双工口语语言模型（FD-SLM）处理两个并发的语音流：一个*用户流*和一个*模型流*。音频编解码器将连续的语音信号离散化为音频token，使得交互可以表示为时间步序列[12 (https://arxiv.org/html/2606.11386#bib.bib16),47 (https://arxiv.org/html/2606.11386#bib.bib15)]。在每个时间步 \(t\)，FD-SLM基于传入的用户音频token和之前生成的模型token进行条件处理，然后生成下一个模型响应。实际上，最近的FD-SLM首先生成文本token作为语义丰富的*中间表示*，然后引导相应语音的生成[5 (https://arxiv.org/html/2606.11386#bib.bib52),13 (https://arxiv.org/html/2606.11386#bib.bib45),33 (https://arxiv.org/html/2606.11386#bib.bib47),22 (https://arxiv.org/html/2606.11386#bib.bib28)]。形式上，在时间步 \(t\)，令 \(u_{\mathrm{audio}}^{(t)}\) 表示用户输入的音频token，\(m_{\mathrm{audio}}^{(t)}\) 和 \(m_{\text{text}}^{(t)}\) 分别表示模型输出的音频和文本token。令 \(M_\theta\) 表示由 \(\theta\) 参数化的FD-SLM。在每个时间步，\(M_\theta\) 基于当前用户输入音频token \(u_{\mathrm{audio}}^{(t)}\)、模型之前的音频和文本token以及之前的对话上下文 \(c^{(t)}\) 生成模型输出token \(m_{\text{text}}^{(t)}\) 和 \(m_{\mathrm{audio}}^{(t)}\)：

\[
\left(m_{\mathrm{audio}}^{(t)}, m_{\text{text}}^{(t)}\right) \sim M_\theta\left(\cdot \mid u_{\mathrm{audio}}^{(t)}, m_{\mathrm{audio}}^{(t-1)}, m_{\text{text}}^{(t-1)}, c^{(t)}\right),
\]

其中 \(c^{(t)}\) 总结了时间步 \(t\) 之前的对话历史。在本文中，我们使用时间步作为处理的最小单位，而非单个token。与纯文本LLM不同，FD-SLM在每个时间步的并行流中可能包含多个token，这使得时间步成为我们分析中更一致的单元[13 (https://arxiv.org/html/2606.11386#bib.bib45),2 (https://arxiv.org/html/2606.11386#bib.bib2),9 (https://arxiv.org/html/2606.11386#bib.bib57),43 (https://arxiv.org/html/2606.11386#bib.bib58)]。

### 3.2 Logit Lens

与纯文本LLM或半双工SLM不同，FD-SLM必须持续协调收听用户与生成自身语音。然而，这种协调如何在内部表示仍不清楚。为了分析这种内部行为，我们使用*logit lens*[27 (https://arxiv.org/html/2606.11386#bib.bib20),4 (https://arxiv.org/html/2606.11386#bib.bib19)]，它将中间层的隐藏表示投影到词汇空间，使我们能够检查token级预测如何随模型深度演变。令 \(h^{(t)} \in \mathbb{R}^d\) 表示所选层和时间步 \(t\) 处的隐藏表示，令 \(W_{\mathrm{unembed}} \in \mathbb{R}^{|V| \times d}\) 为反嵌入矩阵，其中 \(V\) 表示token词汇表。对于任意目标token \(y \in V\)，我们定义其在隐藏表示下的投影概率