面向数据高效的代码切换ASR的强化学习

# 面向数据高效代码混合语音识别的强化学习  
来源：https://arxiv.org/html/2607.02757  
叶·维克斯  

###### 摘要  

音频语言模型可以通过提示处理代码混合语音，但其解码过程并非针对代码混合优化，且常在语言边界处失效。本文提出一种基于可验证奖励的实用强化学习方案，利用组相对策略优化实现音频语言模型对代码混合语音识别的高效数据自适应。该方案结合了错误率奖励和脚本保真度奖励（惩罚错误书写系统），并采用两轮草稿-提炼流程。以 Qwen2-Audio 作为可复现测试平台，跨10个语言对，仅使用TTS合成的代码混合语音进行训练。实验表明：使用10%数据的RLVR方法，其性能可与使用完整数据集训练的LoRA监督微调相媲美，且在类型学距离较远的语言对上提升最为显著。错误率奖励消除了翻译错误，而脚本保真度奖励在不降低性能的情况下独立减少了脚本污染。这些改进在零样本情况下可迁移至人工录制的代码混合语料库。  

###### 关键词：强化学习，代码混合，自动语音识别，奖励设计  

## 1 引言  

代码混合是全球多语人口中常见的自然交际行为[poplack1980codeswitching, dogruoz2021survey]。然而，代码混合自动语音识别（CS-ASR）仍具有挑战性，原因在于需要建模快速变化的声学和语言学线索，加之标注的代码混合训练数据稀缺[winata2023decades, sitaram2019survey]。由于大规模语音模型通常在单语语料库上预训练[radford2022whisper, baevski2020wav2vec, chu2023qwenaudio]，因此需要数据高效的适应方法，使语音增强的大语言模型（speech-LLM）具备对代码混合的鲁棒性。  

指令遵循型语音-LLM可以通过提示引入语言上下文，实现灵活的输出控制，但其自回归解码是通过token级交叉熵训练的，这并未直接优化序列级指标（如CER），并且存在曝光偏差[ranzato2016sequence]。这些问题在代码混合边界处可能被放大，因为观察到了语言混淆和脚本幻觉现象[liu2023language_confusion]。  

本文将CS-ASR构建为一个可验证奖励问题：给定参考转录文本，我们可以计算自动奖励，并使用强化学习直接优化序列级转录质量。本文不追求最先进的性能，而是使用一个成熟的、公开可用的语音-LLM（Qwen2-Audio）作为受控测试平台，研究奖励设计和数据效率如何相互作用以进行代码混合适应。  

在本文中，我们做出以下贡献：  

- • 我们将基于可验证奖励的强化学习（RLVR）[shao2024deepseekmath]应用于代码混合ASR，使用基于CER和脚本保真度奖励来直接鼓励代码混合边界处的正确书写系统。  
- • 我们引入了一种训练时的两轮草稿和提炼流程，该流程在最佳草稿的基础上进行第二轮回合解码，以鼓励“重新倾听并修正”的行为。  
- • 我们在CS-FLEURS[yan2025csfleurs]的真人朗读子集上，跨10个语言对进行评估，展示了相比LoRA监督微调（SFT）的数据高效增益，并证明了其在SwitchLingua[xie2025switchlingua]（一个人工录制的代码混合语料库）上的零样本迁移能力。  

参考（cmn-eng, SwitchLingua）  
这种科学发现真是太fascinating了  
仅格式基线  
CER 1.81  
This kind of scientific discovery is really fascinating  
中文译成英文  
太...fascinating...了 框架代码混合丢失  
LoRA SFT（100%数据）  
CER 1.33  
This scientific discovery is so fascinating.  
RLVR（10%数据）  
CER 0.00  
这种科学发现真是太fascinating了  
中文保留 英文插入完整  
代码混合边界正确  

图1：SwitchLingua中的中文-英代码混合样本  

## 2 相关工作  

**代码混合ASR**。代码混合ASR必须联合建模声学和快速变化的语言先验，并且面临语言混淆错误和有限标注代码混合数据的挑战[mustafa2022codeswitchreview]。最近的研究整合了显式的语言标签信号和语言感知解码[wang2023textderivedlid]。FLEURS提供了一个标准的多语言基准[conneau2022fleurs]，而CS-FLEURS将其扩展到代码混合对[yan2025csfleurs]。  

**用于ASR的语音-LLM**。大规模语音编码器-解码器模型（如Whisper[radford2022whisper]）催生了将语音编码器与LLM解码器配对以实现灵活指令遵循的语音语言模型[chu2023qwenaudio, lai2023instructionfollowing]。一个常见的挑战是幻觉问题，在神经机器翻译中，曝光偏差被认为与领域迁移下的幻觉有关[wang2020exposure_bias]，这一类比为基于强化学习的代码混合训练提供了依据，因为在边界处语言分布会突然变化。  

**序列级目标与RLVR**。直接优化ASR评估指标已有悠久历史，包括最小词错误率训练和最小贝叶斯风险[prabhavalkar2018mwer, shannon2017embr]。基于可验证奖励的强化学习（RLVR）通过将奖励信号应用于可自动检查正确性的领域来扩展这一思想[wen2025rlvr]。组相对策略优化（GRPO）通过对采样完成组内的奖励进行归一化，避免了显式的学习型评价器[shao2024deepseekmath]，并已用于推理强化学习[guo2025deepseekr1]。同时期的工作将GRPO应用于单语ASR[shivakumar2025grpo_asr]和音频问答[rouditchenko2025omnir1]。我们的方法将RLVR适配到代码混合ASR，使用由代码混合一致性信号增强的转录奖励。  

## 3 方法  

### 3.1 问题设置  

给定音频段 x、语言上下文 C 和参考转录文本 y∗，模型生成转录文本 y^∼πθ(⋅|x,C)。我们的目标是同时提高转录准确性和代码混合保真度。语言上下文 C 包含一个指定语言对的指令（“该音频包含日语和英语混合的语音”）以及格式约束。  

### 3.2 使用GRPO的RLVR  

我们使用GRPO训练模型，这是一种从一组少量采样候选转录文本之间的相对偏好中学习的强化学习方法。对于每个输入 (x,C)，我们从当前策略 πθ_old 中采样 G 个候选转录文本 {y^i}_i=1^G，并使用可验证奖励 R_i = R(y^i, y∗, C) 对每个进行评分。然后我们在组内对奖励进行z-score归一化以获得优势值 A_i，使得得分高于组均值的候选获得正优势，低于的获得负优势。这鼓励模型增加相对于其他候选的更高评分候选的概率，而无需学习的价值函数。我们使用带有KL正则化的裁剪替代目标来更新策略，以防止分布崩溃：  

L(θ)=−E_i[ min( ρ_i A_i, clip(ρ_i, 1−ε, 1+ε) A_i ) ] + λ_KL KL(πθ ∥ π_ref)   (1)  

其中 ρ_i = πθ(y^i|x,C) / πθ_old(y^i|x,C)   (2) 是更新策略与采样策略之间的重要性比率。  

### 3.3 脚本保真度（SHR）奖励  

当基础模型针对结构化输出进行调优时，它会出现普遍的脚本污染问题：输出包含与语言对中的两种语言无关的书写系统的字符。在SwitchLingua上，18%的非拉丁脚本样本包含错误脚本字符，日语和阿拉伯语分别上升到27%和27%。为了抑制这种情况，我们在CER奖励的基础上增加一个针对干净输出的二元奖励：  

R(y^i, y∗, C) = -CER(y^i, y∗) + β_sf · Script(y^i, C)，其中 Script(y^i, C)=1 如果 y^i 中的所有字符都属于允许的脚本，否则为0。允许的脚本集合 S = S_L1 ∪ S_L2，即该语言对中两种语言使用的Unicode脚本的并集。非字母数字字符（如标点、数字和空格）始终允许。我们设置 β_sf=0.05。由于GRPO在组内对奖励进行归一化，该奖励仅在生成结果在脚本污染方面存在差异时才会影响优势值。  

### 3.4 两步草稿提炼  

除了脚本污染，基础模型还暴露出其他失败：在SwitchLingua上，37%的非拉丁脚本样本被完全翻译成英语，36%的代码混合话语仅保留了英语部分。这些错误表明单轮解码可能过早地陷入不正确的语言模式。受LLM中迭代自我精炼的启发[madaan2023selfrefine]，我们通过一个两步程序来解决这个问题：第一轮生成 G 个草稿并应用GRPO更新，然后在第二轮GRPO中，以原始音频和草稿为条件对最高奖励草稿进行精炼（算法1）。这种两步方法训练模型在一次训练迭代中同时进行转录和自我纠正，而无需除现有奖励函数之外的任何外部纠正信号。在测试时，我们像其他模型一样执行单轮推理。  

**算法1 带草稿精炼的两步GRPO**  
1: 音频 x，参考 y∗，语言上下文 C，生成次数 G  
2:  
3: 第一轮（草稿）：  
4: 采样 G 个草稿：y^(g) ∼ πθ(·|x,C) for g=1,...,G  
5: 计算奖励 R^(g) = R(y^(g), y∗, C) 及 GRPO 损失 L1  
6: 选择最佳草稿：y^† = y^(argmax_g R^(g))  
7: 用 ∇θ L1 更新 θ  
8:  
9: 第二轮（精炼）：  
10: 构建提示：(x, y^†, C)  
11: 采样 G 个精炼版本：ỹ^(g) ∼ πθ(·|x, y^†, C)  
12: 计算奖励 R̃^(g) = R(ỹ^(g), y∗, C) 及 GRPO 损失 L2  
13: 用 ∇θ L2 更新 θ  

表1：CS-FLEURS read_test 和 SwitchLingua（零样本迁移）上的 CER。对于每种数据设置，每个语言对的最佳结果以粗体显示。多随机种子列（n=3）报告均值±标准差（SHR）。所有模型均在 CS-FLEURS XTTS-Train 上训练。  

## 4 实验设置  

### 4.1 数据集  

**CS-FLEURS**。CS-FLEURS[yan2025csfleurs]是一个大规模多语言代码混合语音数据集，基于FLEURS[conneau2022fleurs]，涵盖52种语言，113个代码混合对。代码混合文本通过“对齐-交换”流程生成，使用来自AwesomeAlign[dou2021word]的词对齐将30%的内容词替换，从而在不同对之间产生一致的代码混合。我们使用其两个子集：XTTS-Train（128小时，16个X-英语对），其中语音使用XTTS-v2[casanova2024xtts]合成，用于训练；以及Read-Test（3.3小时，14个X-英语对），其中包含人类录制的双语语音，用于评估。文本包含表示代码混合跨度的英语标记，我们的归一化过程会去除Unicode标点。  

**SwitchLingua**。我们还在SwitchLingua[xie2025switchlingua]上进行了评估，这是一个多语言代码混合数据集，包含超过80小时的人类录制音频，覆盖12个X-英语对，采用单轮和多轮对话形式。我们将评估限制在Qwen2-Audio支持的8个语言对上（ara, cmn, deu, fra, ita, jpn, kor, rus），排除了粤语、印地语（基础模型不支持）和西班牙语（Huggingface数据集中标签错误）。SwitchLingua通过提供自然结构的代码混合和人类录制音频（而非TTS合成语音）来补充CS-FLEURS。  

### 4.2 基线  

我们比较了两个基线，以隔离RLVR的贡献：  

- • 仅提示（格式）：一个基础Qwen2-Audio模型，经过少量迭代训练，使用仅格式奖励（鼓励输出在标签内的转录文本），没有任何转录质量信号。  
- • LoRA SFT：在完整CS-FLEURS训练集上进行LoRA[hu2022lora]微调，为此规模下监督训练单独能实现的效果提供了一个上界。  

### 4.3 训练细节  

**基础模型**。所有实验均从Qwen2-Audio-7B-Instruct[chu2023qwenaudio]开始，这是一个7B参数的音频语言模型，配备基于Whisper的音频编码器[radford2022whisper]和Qwen-2 LLM解码器[yang2024qwen2]，以bfloat16训练。我们选择Qwen2-Audio作为受控、公开可用的测试平台：其开放权重保证了完全可复现性，其在代码混合语音上的弱点为研究奖励设计提供了起点。由于Qwen2-Audio并未覆盖所有CS-FLEURS语言对，我们将实验限制在基础模型具有非平凡识别能力的10个语言对上。  

**GRPO (RLVR)**。RLVR和LoRA都保持音频编码器冻结，仅更新LLM解码器。RLVR更新所有解码器参数，而LoRA更新低秩适配器。我们使用DeepSpeed ZeRO-2[rasley2020deepspeed]在8个GPU上使用GRPO进行训练（裁剪 ε=0.2，初始检查点作为 π_ref）。每个提示采样 G=8 个完成，温度 τ=1.0，最大长度512，每设备批量大小1，梯度累积8，恒定学习率 10^{-6}。两轮模型训练4个epoch（每步2次更新）。单轮模型训练8个epoch，使梯度更新次数相等。所有评估均使用单轮贪心解码。在所有配置中，要求输出的格式奖励是共享的。我们从XTTS-Train中跨10个语言对子采样2310个话语（10%）或4625个话语（20%）。RLVR和LoRA实验均使用3个相同的随机种子运行。  

**LoRA SFT**。LoRA基线[hu2022lora]将低秩适配器（r=64，α=128，dropout 0.05）应用于LLM解码器的所有注意力和MLP投影。训练与GRPO在批量大小、累积和学习率上匹配，在完整XTTS-Train子集上训练4个epoch（数据量是10% RLVR数据的10倍）。  

### 4.4 指标  

**字符错误率（CER）**：假设序列与参考序列之间的Levenshtein编辑距离除以参考长度。两个字符串在比较前均转换为小写，去除标点，并移除所有空格：CER = Lev(ŷ, y∗) / |y∗|。