EchoChain：面向中断场景的全双工状态更新推理基准

# EchoChain：面向打断环境下状态更新推理的全双工基准测试
Source: https://arxiv.org/html/2604.16456 Smit Nautambhai Modi, Gandharv Mahajan, Marc Wetter, Randall Welles Applied Machine Learning Research \{smodi, gmahajan, mwetter\}@labelbox\.com

###### 摘要
实时语音助手必须在用户中途打断并修改回复内容时更新任务状态，但现有的口语对话基准测试主要评估轮流交互（turn-based），忽略了这种失效模式。我们推出 EchoChain，一个用于评估语音生成过程中断场景下全双工状态更新推理能力的可控基准测试。EchoChain 在打断后的续写回答中识别出三种反复出现的失败模式：情境惯性、打断失忆与目标置换。该基准测试通过场景驱动生成对话，并在相对于助手语音起点的标准化时间点注入打断，从而实现跨模型的可控对比评估。在与非打断对照组的配对实验中，整体失败率相对下降了 40.2%，表明许多错误主要由打断过程中的状态更新推理问题引发，而非单纯的任务难度所致。在所有评估的实时语音模型中，没有任何系统的通过率超过 50%，这表明在生成过程中的状态修订方面仍有巨大的提升空间。EchoChain 为诊断全双工语音交互中的状态更新推理失败提供了一个可复现的基准测试。

## 1 引言
人类交流本质上是全双工的。听众会通过音频和视觉线索在说话者还在发言时进行插话、修正并提供信息(Skantze,2021 (https://arxiv.org/html/2604.16456#bib.bib11))。尽管口语对话系统预期应在相同条件下运行，但目前的评估体系仍基本停留在半双工阶段，即假设一方说完整个回合后另一方才开始发言(Gosaiet al.,2025 (https://arxiv.org/html/2604.16456#bib.bib2)),(Si et al.,2025 (https://arxiv.org/html/2604.16456#bib.bib10)),(Du et al.,2025 (https://arxiv.org/html/2604.16456#bib.bib6))。在实际应用中，用户在助手回复中途可能会修改请求、增加约束条件或重定向任务，此时助手必须在不依赖清晰回合边界的情况下更新其进行中的推理过程。当新信息在模型生成过程中到达时，在线状态修订成为核心需求，而现有基于回合边界假设的基准测试并未对此进行评估。

打断对于全双工系统而言是一种天然的测试压力源，因为新信息会在助手生成过程中抵达，迫使其修改当前正在输出的内容(Skantze,2021 (https://arxiv.org/html/2604.16456#bib.bib11))。评估这一点的难点在于，此类失败往往从表面难以察觉。模型可能表面上回应了打断请求，却仍在陈旧或错误的假设下继续生成；也可能短暂采纳更新后又回退到原计划；或者未能完成用户输入的核心要求。回复听起来流畅且响应及时，但底层任务状态却是错误的。

为了判断这些错误是否源于打断事件本身而非通用任务难度，我们与同一对话的非打断基线进行了配对比较，并采用相同的评分标准。在此基线下，对全部 4 个模型的 48 个采样对话进行评估，发现打断对话中有 92 处失败，而非打断对话中仅有 55 处。这使总失败数净减少了 40.22%，表明相当一部分错误与打断事件直接相关。这一发现凸显了创建专用基准测试的必要性，以评估模型如何在生成过程中因新信息到达而修订正在进行中的回复。

状态更新推理是指模型保持并修订其任务状态的能力。本文专门聚焦于用户在话语中途引入新信息时，模型如何在此过程中进行状态修订。对这些失败案例的分析揭示了模型在处理生成阶段打断时的三种反复出现的行为模式，我们据此构建了分类体系。在“情境惯性”中，模型接收到新信息，却仿佛无事发生般继续生成。在“打断失忆”中，更新信息最初被采纳，但随着生成推进又被覆盖。在“目标置换”中，模型完全转向打断内容，抛弃了原始任务。每种模式都反映了模型在并发输入下维持和修订任务状态机制的不同失效方式。

为了系统性地研究这些失败现象，我们引入了 EchoChain，这是一个评估全双工口语对话模型如何处理生成过程中断的基准测试。EchoChain 框架通过规划器-模拟器循环生成场景驱动的对话，其中每条用户消息和插话内容均以对话历史为条件生成，确保打断内容具备上下文关联。用户语音及打断刺激均已预先合成，且插话时机已锚定，因此该框架可在统一条件下对比评估不同模型。所有用户音频均通过 Persona Voice Engine 生成，该引擎将从多样化录音演员中克隆声音并转为合成语音，确保各模型接收完全一致的音频输入，并保障实验的可重复性。配对聆听研究表明，评审人员无法可靠地区分克隆声音与真实录音。该框架记录打断前助手片段、插话语句及打断后续写部分的同步音频与转录文本，并将标记案例自动分类后再交由人工审核。

## 2 失败模式分类体系
Refer to caption图1：全双工状态更新推理中三种打断后失败模式的示例。左：（情境惯性）助手确认了打断，但未能正确修订先前的推理。中：（打断失忆）此前设定的约束条件在打断后被遗忘。右：（目标置换）助手仅响应打断内容，未能完成原始请求。

我们将全双工状态更新推理的失败沿三个维度进行分类。这些类别涵盖了由打断引发的常见后续失败模式。具体示例见图1 (https://arxiv.org/html/2604.16456#S2.F1)。

**情境惯性（Contextual Inertia）**表现为助手未能将打断内容有效整合至后续回复中。通常情况下，它会承认发生了打断，甚至表示会采纳相关内容；但在实际输出中，要么毫无变化，要么出现了错误调整。如示例所示，助手确认了打断中提出的无咖啡因限制，却依然推荐含咖啡因饮品。这导致回复表面上看似切换了话题或进行了自我纠正，但实质内容依然失败。迄今为止，既有的评价指标仍不足以捕捉此类错误，因为它们在设计之初并未针对这一特定弱点。

**打断失忆（Interruption Amnesia）**表现为模型在遭受打断后简单地遗忘了过往的约束或要求。可以看出，初始状态下约束条件已被正确纳入模型的早期回复中；然而，由于打断引发了某种“失忆”，模型在插话发生后未能再次正确整合这些条件。示例中，助手在第一次打断后正确应用了双时区格式，却在第二次打断后默默将其丢弃。结果，系统在打断发生后失去了上下文一致性，生成了失败的回复。

**目标置换（Objective Displacement）**是一种独特的失败模式，由打断如何改变自然对话所引发。当助手在未完成用户请求时被打断，在某些情况下，即便用户对请求进行了变更或补充，合理预期仍是助手应完成原始请求。这通常由打断仅提供额外上下文而未引入全新请求，或使用“此外”、“再加上”等递进表述来体现。然而观察发现，多数时候助手仅响应打断内容，完全遗忘了实际的对话状态。示例显示，当用户在比较请求之外额外要求添加一个标识时，助手放弃了原始的法规对比请求。这导致对话链条断裂，缺失了构成高质量回复的必要要素。

## 3 相关工作
### 3.1 单轮音频与语音推理基准测试
目前运行的单轮基准测试主要评估语音理解、指令遵循以及副语言或场景线索。VoiceBench (Chen et al., 2024 (https://arxiv.org/html/2604.16456#bib.bib9)) 和 AudioBench (Wang et al., 2025 (https://arxiv.org/html/2604.16456#bib.bib5)) 在这些指标上提供了广泛的覆盖。VoiceBench 主要评估文本回复内容，而 AudioBench 严重依赖模型裁判和任务特定指标，导致两者都无法直接衡量语音助手的推理能力。BigBenchAudio (Hill-Smith and Cameron, 2024 (https://arxiv.org/html/2604.16456#bib.bib12)) 改编自 BIG-Bench Hard (Suzgun et al., 2022 (https://arxiv.org/html/2604.16456#bib.bib13))，通过对比语音对语音、语音对文本及文本对文本的设置，进一步凸显了由模态引发的语音推理差距，但仍保留了回合制评估范式。在回合制基准测试中，用户语音被视为原子输入，模型仅根据其回复进行评测，未探究生成期间新用户信息到达如何影响模型推理。EchoChain 通过在双工交互中引入可控的中途语音打断填补了这一空白，其实现在助手语音期间注入标准化的、与模型无关的插话事件。评测工具记录了打断前助手片段、插话语句及后续生成的同步音频与转录文本。随后对该后续生成内容进行失败检测，重点关注情境惯性、打断失忆与目标置换。

### 3.2 半双工多轮口语对话基准测试
另一条平行的研究路线在半双工交互框架下评估多轮口语对话，即模型完整接收用户每轮话语后才以完整形式输出回复。Audio MultiChallenge (Gosai et al., 2025 (https://arxiv.org/html/2604.16456#bib.bib2)) 使用带有自然不流畅性的高保真录音，评估端到端口语对话系统在多轮交互中的上下文跟踪、指令遵循和自我一致性。SpokenWOZ (Si et al., 2025 (https://arxiv.org/html/2604.16456#bib.bib10)) 对标的是口语任务型对话，评估模型能否在多轮交换中跟踪与任务相关的信息；而 MTalk-Bench (Du et al., 2025 (https://arxiv.org/html/2604.16456#bib.bib6)) 则在多轮设置下从语义、副语言和背景音维度评估语音对语音模型。这些基准测试评估了跨轮次的记忆与连贯性，但每一轮交互仍严格遵循单发言人轮流原则。相比之下，EchoChain 研究的是在助手发言过程中修改任务的打断行为。因此，评估重心从跨轮记忆与连贯性转移至后续回复是否正确整合了更新内容，这是半双工多轮基准测试无法检验的问题。

### 3.3 全双工口语对话基准测试
早期的全双工口语对话基准测试主要通过计时和话轮转换指标来聚焦重叠处理。Full-Duplex-Bench (Lin et al., 2025c (https://arxiv.org/html/2604.16456#bib.bib14)) 使用自动化行为指标评估停顿处理、附和反应、平滑话轮转换及用户打断；Full-Duplex-Bench v1.5 (Lin et al., 2025b (https://arxiv.org/html/2604.16456#bib.bib4)) 则将其扩展至可控的重叠场景，并结合韵律和语音质量分析。这些框架评估模型在重叠时何时让步与恢复，但未测试打断后回复中的模型推理能力。Full-Duplex-Bench v2 (Lin et al., 2025a (https://arxiv.org/html/2604.16456#bib.bib7)) 利用大语言模型生成多轮对话，并通过引入自动化实时考官来评分纠错处理和实体跟踪，从而更贴近任务级评估。由于考官会根据被测模型自适应调整节奏和阶段进展，打断的时机和内容可能通过双向适应发生变化，使得受控的跨模型对比变得复杂。此外，汇总式的任务级评分并未明确区分生成过程中的不同失败机制（如情境惯性、打断失忆和目标置换），而这些机制各自描述了并发输入输出下状态更新推理崩溃的不同方式。FD-Bench (Peng et al., 2025 (https://arxiv.org/html/2604.16456#bib.bib3)) 同样使用大语言模型构建对话，但采取了不同方法：它将所有用户侧输入合成语音，并在首次用户输入给出前将这段固定的用户音频流式传输给助手。由于用户脚本是预设的，后续的 utterances（包括打断事件）不会根据助手的实际回复进行调整。该基准测试强调打断检测率、计时行为和汇总回复质量评分，但未直接评估后续回复是否正确整合了打断内容。FLEXI (Ge et al., 2025 (https://arxiv.org/html/2604.16456#bib.bib8)) 对多种全双工场景进行基准测试，并引入“话题转换得分”来衡量回复是否重定向至打断查询。该得分是一个不完整的指标，因为它忽视了推理质量。只要回复转向新话题就算成功——即使这种转换脱节，或未能将新数据与现有讨论相协调。EchoChain 采取了一种互补的方法来弥补上述局限。通过规划器-模拟器循环，用户消息和插话内容以助手已观测到的回复为条件生成。插话时机相对于检测到的助手语音起点进行调度，使得同一打断刺激能够应用于多个响应模型，实现受控的跨模型对比。一套包含情境惯性、打断失忆和目标置换的诊断性失败分类体系对打断后的推理失败进行分类。该分类体系揭示了纯计时重叠指标、汇总任务级评分及话题转换措施所无法识别的失败模式，为深入洞察模型表现提供了更深刻的见解。

## 4 EchoChain 框架
Refer to caption图2：EchoChain 架构。场景种子驱动规划器-模拟器循环，生成依赖上下文的 user utterances 和 barge-ins，这些内容被合成为语音，并通过全双工编排器流式传输至实时响应模型。编排器在助手语音期间的可控点注入打断，一