音频语言模型是否使用副语言证据？用于响应评估的反事实审计

# 音频语言模型是否使用副语言证据？用于回复评估的反事实审计

###### 摘要

音频语言模型（ALMs）越来越多地被用作语音到语音系统的评委，但接收音频的评委可能并未真正使用副语言证据。我们引入了针对副语言回复评估的反事实审计。在每个审计项中，转录内容保持不变，仅改变情感、韵律或情感转变的时机，从而迫使有效的评委跟踪音频线索，而非依赖词汇内容或回复风格。我们使用原生单上下文判断协议和对照性可恢复性控制来评估 ALM 评委，然后进一步将每个审计项分解为其构成性的感知和回复映射技能。这产生了有用的诊断状态，可识别评委失败的不同来源。在对 Gemini、GPT 和开放音频模型的实验中，我们发现对照性成功往往高估了原生评委的可靠性，并且相似的总体准确率可能掩盖不同的失败模式。这些结果表明，ALM 评委不应仅凭准确率进行评估，在部署前需要进行彻底的行为审计。

音频语言模型是否使用副语言证据？用于回复评估的反事实审计

Kevin Miller\*, Arjun Chandra\*, Venkatesh Saligrama  
Boston University  
\{nivek, ac25, srv\}@bu\.edu

脚注：\*同等贡献。

## 1 引言

参见图注

图1：反事实音频评委审计。左：审计在用户话语内容不变的情况下，仅改变副语言实现方式。中：Pointwise 提供单一音频上下文和两个候选回复。如果此设置失败，Pairwise 则提供两个反事实音频上下文和对应的回复。组件探针随后测试构成性任务技能，以识别失败来源。右：评委正确识别副语言状态（P=1P=1），并在以文本形式提供该状态时将其映射到更好的回复（O=1O=1），但在原生音频判断中失败（J=0J=0）。

语气、节奏、音高和时序等副语言线索是口语交互的核心（Scherer, 2003 (https://arxiv.org/html/2608.06718#bib.bib56); Crystal, 1975 (https://arxiv.org/html/2608.06718#bib.bib13)）。相同的话语可能因说话方式的不同而需要不同的助手回复：即使用户的转录本身存在歧义，用户也可能听起来惊讶、犹豫、不耐烦或沮丧。随着语音到语音助手能力的增强，评估也必须超越纯文本。我们需要知道口头回复不仅适应用户说了什么，还要适应用户是怎么说的。一种自然的规模化评估方式是使用音频语言模型（ALMs）作为自动评委（Manakulet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib40); Chianget al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib41); Jianget al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib30)）。ALM 评委可以监听交互并决定哪个助手回复更好。如果这些评委可靠，它们可以支持口语助手的基准测试、奖励建模、部署监控和回归测试。然而，这带来了一个二阶评估问题：在将 ALM 用作评委之前，我们必须审计评委本身是否使用了相关的音频证据。主要依赖转录、回复风格或通用对话偏好的评委并不是副语言能力的可信评估者。我们通过*反事实审计*来研究这个问题。在每个审计项中，用户的话语内容保持不变，仅改变副语言实现方式。候选回复与这些音频实现配对。当相关音频线索发生变化时，有效的评委应改变其决策。失败的反事实审计是欠定的。如果评委选择了错误的回复，我们无法判断评委是未能听到音频线索、未能将该线索映射到正确回复，还是在最终判断中未能组合这些技能。因此，我们使用图1 (https://arxiv.org/html/2608.06718#S1.F1) 所示的根因诊断级联。

原生判断。目标设置是 Pointwise：评委接收一个音频上下文和两个候选回复，并必须选择适合该音频的回复。我们将其称为原生判断，因为它最接近将 ALM 用作自动评估器的标准设置。

对比可恢复性。如果原生判断失败，我们会询问当相关反事实对比被明确呈现时是否可恢复。在 Pairwise 中，评委接收两个音频实现和两个候选回复，并必须确定正确的匹配（Zhuet al\. (2026 (https://arxiv.org/html/2608.06718#bib.bib22)））。如果 Pairwise 成功，明确的对比迫使模型忽略相同的转录，并依赖音频线索。这表明模型具有潜在的副语言判断能力，但未能在原生单上下文设置中部署它，从而使 Pairwise 成为有效的诊断工具。

组件归因。然后我们询问是哪个操作失败了。对于每个审计项，我们探测感知能力 P、预言机回复映射 O 和原生判断 J。感知探针询问评委是否识别出与任务相关的副语言状态。预言机回复映射探针询问当用户的副语言状态以文本形式提供时，评委是否能选择正确的回复。综合状态（P,O,J）（P,O,J）可区分不同评委模型之间的异质失败模式。我们将此审计应用于单轮和多轮设置。单轮示例隔离静态副语言回复选择：给定以不同情感状态渲染的一句话，评委是否选择符合说话状态的回复？位置性多轮示例增加了时间和因果结构：转录固定，但用户情感转变的时机发生变化，因此正确回复取决于用户何时变得沮丧以及导致转变的原因。这捕捉了口语助手在部署中面临的相关困难，其中情感通常通过对话历史来解释（Poriaet al\.,2019 (https://arxiv.org/html/2608.06718#bib.bib57); Duet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib28); Aroraet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib14)）。

我们的实验表明，当前的 ALM 评委以不同方式表现出脆弱性。一些模型在 Pairwise 中能够恢复对比性反事实，但在 Pointwise 中显著退化，这表明对比性成功并不意味着原生评委可靠性。组件探针进一步表明，总体准确率隐藏了评委之间的异质失败。在位置性多轮示例中，单上下文判断尤其脆弱，表明时间-因果副语言评估具有挑战性。

贡献。首先，我们引入了针对用作副语言回复适当性评委的 ALM 的反事实审计。其次，我们提出了一种结合原生单上下文判断、对比性可恢复性和组件探针的根因诊断流程。第三，我们对 Gemini、GPT 和开放音频模型进行了实证审计，表明仅靠总体准确率并不能证明音频评委的可靠性。

## 2 相关工作

大型语言模型（LLMs）通常用作文本评估器，但它们可能表现出系统性偏差（Duboiset al\.,2024 (https://arxiv.org/html/2608.06718#bib.bib27); Zhenget al\.,2023 (https://arxiv.org/html/2608.06718#bib.bib21)），并展示出“波将金式理解”（Mancoridiset al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib29)），这推动了基于分解的可靠性改进（Leeet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib38); Liet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib39)）。与此同时，具备音频能力的模型越来越多地被部署为自动评估器（Manakulet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib40); Chianget al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib41)）和奖励模型（Jiet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib42); Geet al\.,2026 (https://arxiv.org/html/2608.06718#bib.bib25); Yanget al\.,2026 (https://arxiv.org/html/2608.06718#bib.bib23)）。这些应用通常假设音频模态的访问意味着可靠的副语言推理——这一假设已受到近期发现的挑战（Chandraet al\.,2026 (https://arxiv.org/html/2608.06718#bib.bib52); Chenet al\.,2026 (https://arxiv.org/html/2608.06718#bib.bib24)）。虽然现有基准评估副语言指令跟随能力（Jianget al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib30); Heldet al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib11)）或情感感知能力（Yanget al\.,2021 (https://arxiv.org/html/2608.06718#bib.bib34); Huanget al\.,2024 (https://arxiv.org/html/2608.06718#bib.bib36)），但它们对理解评委如何在下游偏好决策中使用这些线索提供的诊断支持有限。我们通过采用工具审计视角明确隔离音频评估器中的副语言推理来弥合这一差距。有关相关评估框架的扩展讨论见附录A (https://arxiv.org/html/2608.06718#A1)。

表1：ALM 评委可靠性诊断真值表。表中的每一行表示对模型行为的不同解释。最后一行是可靠评委状态，而高亮的“波将金”行是我们发现的关键编排失败。

## 3 问题设置与框架

我们的目标是审计用作口语交互评委的音频语言模型（ALMs）。目标使用场景是多轮口语交互，其中助手回复不仅要适应用户的话语，还要适应用户的语气、情感以及情感转变的时机。这个目标很现实，但错误的判断难以解释。评委可能未能听到线索，未能将线索映射到正确的回复，只有在对比明确时才能恢复线索，或者由于需要时间-因果推理而失败。下面的框架使这些不同可能性变得可辨识。

### 3.1 反事实审计项

每个审计项是一个受控的反事实元组 E=(C,A0,A1,R0,R1)，其中 C 是共享的转录或对话历史，A0 和 A1 是相同话语的两种音频实现，R0 和 R1 是分别适合这两种实现的回复。词汇内容固定不变，只有副语言实现发生变化。这赋予了审计结构效度。纯文本或词汇偏置的评委不应能一致地解决该审计项，因为两个分支共享相同的话语。副语言敏感的评委应在相关音频线索变化时改变其决策。因此，该审计测试评委是否测量了音频线索，而非回复风格或词汇捷径。

### 3.2 原生判断与对比性可恢复性

原生判断设置是 Pointwise。评委接收一个音频上下文 A^y 和两个候选回复 {R0,R1}，并必须选择适合该音频的回复。当原生判断失败时，失败是欠定的。因此，我们使用 Pairwise 作为对比性可恢复性对照。在 Pairwise 中，评委接收两个音频上下文 A0,A1 和两个回复 R0,R1，并必须将每个回复与相应的上下文匹配。Pairwise 不是部署目标，它询问当两种反事实音频-回复世界同时可见时，ALM 是否能区分它们。较大的 Pairwise–Pointwise 差距表明协议依赖性：对比是可恢复的，但评委不能可靠地在原生单上下文设置中部署它。我们还改变提示中的线索提示量。无线索提示要求直接判断。硬线索要求评委关注用户的情感和韵律。对于位置性示例，转换线索要求评委在选择回复之前跟踪用户情感变化的位置。线索提示是一种诊断性干预，因此结论严重依赖于提示措辞的评委可能在搭建的流程中有用，但不应被视为即插即用的评估器。

### 3.3 组件归因：感知、映射与判断

协议比较告诉我们对比是否可恢复以及原生判断是否可靠，但不能识别哪个操作失败了。因此，我们通过一个原生判断和两个组件探针来评估每个审计项（图1 (https://arxiv.org/html/2608.06718#S1.F1)）：

P_i = 1{感知探针正确}，
O_i = 1{预言机回复映射探针正确}，
J_i = 1{原生音频判断正确}。

感知探针 P_i 测试评委是否识别出与任务相关的副语言状态。对于单轮情感（第4节），这是用户的情感或韵律状态。对于位置性情感，这是完整的情感轨迹（即用户在每一轮中的情感）。预言机回复映射探针 O_i 通过以文本形式提供相关状态来移除音频感知负担，并测试评委是否能够将该状态映射到适当的回复。原生判断 J_i 记录评委是否在原始音频任务中取得成功。每个审计项被分配一个诊断状态 z_i=(P_i,O_i,J_i)∈{0,1}^3，我们报告经验状态质量 π_poj = (1/n) ∑_{i=1}^n 1{P_i=p, O_i=o, J_i=j}。我们在全文中使用 (P,O,J) 顺序。可靠的整合状态是 π_111。关键的编排失败是 π_110：评委在感知和预言机回复映射上成功，但在原生音频判断中组合这些能力时失败。我们称之为波将金式失败（Mancoridiset al\.,2025 (https://arxiv.org/html/2608.06718#bib.bib29)）。其他状态组区分感知瓶颈、回复映射瓶颈、捷径式成功和全栈式失败。完整的八状态表见表1 (https://arxiv.org/html/2608.06718#S2.T1)。

### 3.4 任务复杂度：静态判断与时间-因果判断

最后一个诊断轴是交互复杂度。多轮口语交互是部署相关的目标，但它将感知、时序、因果归因和回复映射纠缠在一起。因此，我们使用单轮情感作为校准任务：它移除对话历史和因果归因，测试评委是否能够使用静态副语言线索。然后我们通过位置性情感回到多轮目标。这些示例在保持反事实控制的同时恢复了时间结构。转录受控，但情感转变发生在不同轮次。正确回复取决于用户何时变得沮丧以及哪个助手行为导致了转变。因此，在单轮示例上成功但在位置性示例上失败的模型，很可能对时间-因果交互结构敏感。

## 4 任务构建