NADI 2026 上的 Aslema：通过少样本增强实现口语语言理解

# Aslema 在 NADI 2026 上的表现：面向 SLU 的少样本增强  
来源：https://arxiv.org/html/2608.18689  
Tajwaar Shafiq  
*致谢：该贡献是在作者于卡塔尔计算研究所实习期间完成的。*  
Shammur Absar Chowdhury  
Firoj Alam  
*所属机构：卡塔尔计算研究所，HBKU，卡塔尔*  
*电子邮件：[[email protected],](mailto:)所属机构：\{hubh90945, fialam, shchowdhury\}@hbku.edu.qa*  

###### 摘要  
我们展示了 **Aslema**，这是我们用于 NADI 2026 共享任务 5 的系统，该任务包含两个子任务：意图识别和槽位填充。我们在零样本设置下评估了四个全模态大语言模型，并与微调模型进行了比较。我们的结果显示，微调始终优于零样本推理。我们进一步探索了使用大语言模型生成具有文化背景的突尼斯阿拉伯方言（Derja）话语，然后通过语音克隆生成合成语音，从而进行合成数据增强。整合这些合成数据提高了两项任务的性能。我们最终提交的系统基于 Qwen3-Omni-30B，并使用原始数据和合成数据的混合进行训练，在 dev-test 划分上实现了 86.8% 的意图准确率和 34.7 的词错误率（WER）。在官方测试集上，它在槽位填充任务中排名第 1（CoER 为 59.5），在意图识别任务中在 8 个团队中排名第 4（准确率 66.1%）。我们发布了我们的实验脚本<sup>[1]</sup>，并将在不久后共享合成数据集以支持该领域的进一步研究。  

## 1 引言  
语音对话界面越来越多地由大语言模型（LLM）驱动，最近的 *音频* LLM 直接处理语音，并将语音识别与语言理解相结合<sup>[11](https://arxiv.org/html/2608.18689#bib.bib11); [28](https://arxiv.org/html/2608.18689#bib.bib15); [32](https://arxiv.org/html/2608.18689#bib.bib12)</sup>。然而，它们在方言阿拉伯语方面的有效性仍然有限<sup>[1](https://arxiv.org/html/2608.18689#bib.bib35); [4](https://arxiv.org/html/2608.18689#bib.bib36); [8](https://arxiv.org/html/2608.18689#bib.bib37)</sup>。突尼斯方言（Derja）是一种低资源语言，与法语和英语大量语码转换，并且与主导阿拉伯语训练语料库的现代标准阿拉伯语（MSA）有显著差异<sup>[26](https://arxiv.org/html/2608.18689#bib.bib21)</sup>。NADI 共享任务系列越来越关注此类方言环境<sup>[2](https://arxiv.org/html/2608.18689#bib.bib3); [27](https://arxiv.org/html/2608.18689#bib.bib1)</sup>。其 2026 年版本<sup>[25](https://arxiv.org/html/2608.18689#bib.bib34)</sup>引入了共享任务 5，使用 SLURP-TN<sup>[12](https://arxiv.org/html/2608.18689#bib.bib5)</sup>（SLURP 基准测试的突尼斯语重新录制版本<sup>[6](https://arxiv.org/html/2608.18689#bib.bib6)</sup>）进行端到端口语语言理解（SLU），涵盖意图识别和槽位填充。我们参与了两个子任务，并研究了在不同监督水平下音频 LLM 对方言 SLU 的有效性。我们的实验涵盖了四个经过指令调优的音频 LLM（30 亿至 300 亿参数）、基于 LoRA 的微调<sup>[16](https://arxiv.org/html/2608.18689#bib.bib25)</sup>和一个完全微调的 Whisper-small<sup>[22](https://arxiv.org/html/2608.18689#bib.bib17)</sup>基线。我们还研究了训练数据规模的影响以及使用 LLM + TTS 流水线的合成增强效果。  

总结来说，我们的主要贡献如下：  
- • 我们对四个音频 LLM 在零样本和 LoRA 微调设置下进行意图识别和槽位填充进行了系统评估。  
- • 我们开发了一种 LLM + TTS 增强方法，该方法生成具有槽位注释的、具有文化背景的突尼斯 Derja 话语，并使用语音克隆的 TTS 将其转换为语音，以针对代表性不足的意图类别。  
- • 我们评估了使用真实数据、合成数据和混合真实-合成数据的不同训练配置，并使用性能最佳的配置构建了我们的提交系统。  

**研究发现：**我们的结果表明，零样本音频 LLM 在两个子任务上的表现都很差，而使用约 3 小时监督语音的 LoRA 微调显著提高了性能。仅使用合成数据也比零样本推理带来了明显的提升，而结合真实和合成数据则实现了最强的整体结果。  

## 2 相关工作  
##### 口语语言理解。SLU 将语音映射到结构化语义表示。历史上，早期的 SLU 系统遵循级联设计，其中自动语音识别（ASR）模块生成转录文本，然后由基于文本的 NLU 模型处理，而近期端到端架构的采用日益增多<sup>[29](https://arxiv.org/html/2608.18689#bib.bib30); [15](https://arxiv.org/html/2608.18689#bib.bib31); [18](https://arxiv.org/html/2608.18689#bib.bib32)</sup>。这一发展与越来越具挑战性的基准测试的发布密切相关<sup>[3](https://arxiv.org/html/2608.18689#bib.bib2)</sup>。SLURP<sup>[6](https://arxiv.org/html/2608.18689#bib.bib6)</sup>引入了一个单轮语音助手基准测试，而 MASSIVE<sup>[13](https://arxiv.org/html/2608.18689#bib.bib7)</sup>和 Speech-MASSIVE<sup>[19](https://arxiv.org/html/2608.18689#bib.bib8)</sup>将意图和槽位注释扩展到多种语言。SLURP-TN<sup>[12](https://arxiv.org/html/2608.18689#bib.bib5)</sup>进一步对此进行了调整，在突尼斯 Derja 中重新录制了 SLURP 提示，补充了现有资源如 TARIC-SLU<sup>[20](https://arxiv.org/html/2608.18689#bib.bib9)</sup>和 TEDxTN<sup>[9](https://arxiv.org/html/2608.18689#bib.bib10)</sup>。  

**音频 LLM。**最近的音频 LLM，如 Qwen-Audio 及其 Omni 后续模型<sup>[11](https://arxiv.org/html/2608.18689#bib.bib11); [32](https://arxiv.org/html/2608.18689#bib.bib12); [33](https://arxiv.org/html/2608.18689#bib.bib13)</sup>、SALMONN<sup>[28](https://arxiv.org/html/2608.18689#bib.bib15)</sup>、SpeechGPT<sup>[35](https://arxiv.org/html/2608.18689#bib.bib16)</sup>和 Gemma-4<sup>[14](https://arxiv.org/html/2608.18689#bib.bib14)</sup>，将语音编码器与 LLM 结合，通过提示实现零样本 SLU。尽管这些模型在英语基准测试上取得了强劲的性能，但在方言和其他低资源语音上的表现明显较弱<sup>[34](https://arxiv.org/html/2608.18689#bib.bib19); [30](https://arxiv.org/html/2608.18689#bib.bib18); [7](https://arxiv.org/html/2608.18689#bib.bib24); [10](https://arxiv.org/html/2608.18689#bib.bib20)</sup>，包括阿拉伯方言<sup>[26](https://arxiv.org/html/2608.18689#bib.bib21); [5](https://arxiv.org/html/2608.18689#bib.bib22)</sup>。参数高效微调（PEFT），特别是 LoRA<sup>[16](https://arxiv.org/html/2608.18689#bib.bib25)</sup>，是在资源受限环境中适配此类模型的标准方法，并且在以往的 NADI 版本中，适应性的语音模型在方言 ASR 赛道中持续优于其他方法<sup>[27](https://arxiv.org/html/2608.18689#bib.bib1); [23](https://arxiv.org/html/2608.18689#bib.bib4)</sup>。  

**用于语音任务的合成数据。**标注语音数据的收集仍然昂贵，特别是对于低资源方言，这推动了人们对合成数据生成日益增长的兴趣。在 Self-Instruct 范式下<sup>[31](https://arxiv.org/html/2608.18689#bib.bib28)</sup>，由 LLM 驱动的数据生成已与 TTS 结合，以构建配对的语音-语义数据<sup>[21](https://arxiv.org/html/2608.18689#bib.bib29)</sup>，包括最近针对阿拉伯语的努力<sup>[24](https://arxiv.org/html/2608.18689#bib.bib23)</sup>。我们将这种方法应用于方言 SLU，专注于生成合成训练样本，以增加原始训练集中代表性不足的意图类别的覆盖范围。在语音方面，我们基于 VoxCPM<sup>[37](https://arxiv.org/html/2608.18689#bib.bib33)</sup>（一个最近的开源、无分词器的 TTS 模型，覆盖 30 种语言，包括阿拉伯语）。其零样本语音克隆能力允许使用少量方言参考片段来代表多种阿拉伯方言，包括那些没有专门 TTS 语音的方言。  

## 3 任务与数据集  
### 3.1 任务概述  
NADI 2026 共享任务 5 评估用于突尼斯阿拉伯语语音的端到端 SLU。数据集由简短的语音助手命令组成，平均长度约为四秒（训练集中为 3.7 秒，评估划分为 4.3-4.5 秒）。子任务意图识别要求将每个话语分配给单个意图标签。发布的训练数据包含 23 个意图标签，而盲测集遵循完整的 60 标签 SLURP 意图标签集。主要评估指标是准确率和加权 F1，由官方 Codabench 排行榜使用。我们还额外报告了宏 F1，以更好地捕捉代表性不足的意图类别的性能。这些指标提供了互补的视角：准确率和加权 F1 受频繁类别影响，而宏 F1 给每个意图类别赋予相等的权重。子任务槽位填充要求带有内联槽位注释（`<slot_type> value </slot_type>`）的转录文本。主要评估指标是概念错误率（CoER）和概念值错误率（CVER），它们衡量槽位标签及其关联值中的错误。我们还额外报告了在移除槽位标记后，词错误率（WER）和字符错误率（CER）在词汇内容上的表现。这些指标捕捉了性能的互补方面：一个系统可能正确转录了 Derja 话语，但分配了错误的槽位标签或边界。报告两者可以区分转录错误和语义注释错误。所有分数都使用组织者的 SLURP-TN 基线评估工具包<sup>[12](https://arxiv.org/html/2608.18689#bib.bib5)</sup>。  

### 3.2 数据集  
#### 3.2.1 SLURP-TN 数据集。  
SLURP-TN<sup>[12](https://arxiv.org/html/2608.18689#bib.bib5)</sup>包含突尼斯 Derja 重新录制的 SLURP 助手命令，意图和槽位注释从原始数据集迁移而来。在表 1<sup>[1](https://arxiv.org/html/2608.18689#S3.T1)</sup>中，我们总结了数据划分。该数据集相对较小，约有 2.8 小时的训练语音，并且存在严重的类别不平衡。发布的训练集包含 23 个意图标签，尽管训练集中只观察到了 21 个。其中，六个意图的训练样本少于 10 个，三个意图在 dev-test 划分中缺失。此外，最频繁的意图占据了 dev-test 话语的 18.8%。  
**表 1：数据集统计信息。** *意图*：存在的不同标签数；*带槽位*：带有 gold 槽位的话语。*测试集*的 gold 标签未公开。  

#### 3.2.2 数据增强。  
在图 1<sup>[1](https://arxiv.org/html/2608.18689#S3.F1)</sup>中，我们展示了数据增强流水线的概览。我们对训练集进行增强，以增加 23 个训练标签中代表性不足的意图的样本数量。  
**种子话语。** 我们首先根据每个意图在训练集中的频率确定其合成示例的数量，为训练实例较少的意图生成更多示例。  
**少样本生成。** 我们对代表性最不足的意图使用 Gemini 3.1 Pro，对其余意图使用 Gemini 3.6 Flash。遵循 Self-Instruct<sup>[31](https://arxiv.org/html/2608.18689#bib.bib28); [21](https://arxiv.org/html/2608.18689#bib.bib29)</sup>，这些模型使用六个仅来自训练划分的少样本示例生成带有内联槽位注释的突尼斯 Derja 话语。我们通过三种方式生成示例：(i) 为一个意图创建新话语，(ii) 重述现有示例，以及 (iii) 生成具有相同意图但没有槽位值的更具挑战性的示例。它们分别贡献了 20,937 个原始候选中的 16,387、1,510 和 3,040 个。  
**过滤。** 由于生成的话语可能包含重复、格式错误或方言不一致，我们应用基于规则的方法来识别和移除这些情况。这一步将集合缩减至 13,876 条话语。最后，三个大语言模型使用相同的评估标准独立评估每条话语的 Derja 自然度、意图一致性和槽位正确性。我们保留至少被其中两个模型接受的样本，最终得到 12,138 条合成话语。附录 C<sup>[1](https://arxiv.org/html/2608.18689#A3)</sup>提供了有关生成策略、验证检查以及每个阶段使用的大语言模型的更多细节（表 5<sup>[1](https://arxiv.org/html/2608.18689#A3.T5)</sup>）；相应的生成和评判提示已与我们的实验脚本一起发布。  
**图 1：数据增强流水线概览。**  
**语音生成和过滤。** 我们使用 VoxCPM<sup>[37](https://arxiv.org/html/2608.18689#bib.bib33)</sup>在两种设置下为每条话语合成语音：原始模型和经过 LoRA 在约 2.8 小时 SLURP-TN 训练语音上微调的 VoxCPM 模型。对于语音克隆，两个模型使用相同的 152 条零 WER 参考话语池，这些话语是从所有 2,330 条 2.5-10 秒的训练片段中通过基于 LLM 的 ASR 检查选出的。然后，我们使用基于规则的标准（时长、信号电平、削波、有声帧活动和语速）对生成的语音进行过滤。我们总共生成了 23,300 条话语（来自基础模型的 11,946 条和来自 LoRA 微调模型的 11,354 条），过滤后保留了 22,940 条。将其与原始的 2,677 条混合后，形成了包含 25,617 条话语的增强训练集。  

## 4 系统  
**模型。** 我们评估了四个经过指令调优的音频 LLM：**Qwen2.5-Omni-3B**、**Qwen2.5-Omni-7B**<sup>[32](https://arxiv.org/html/2608.18689#bib.bib12)</sup>、**Qwen3-Omni-30B-A3B-Instruct**<sup>[33](https://arxiv.org/html/2608.18689#bib.bib13)</sup>和 **gemma-4-E4B-it**<sup>[14](https://arxiv.org/html/2608.18689#bib.bib14)</sup>，通过 ms-swift<sup>[36](https://arxiv.org/html/2608.18689#bib.bib27)</sup>提供服务，后端使用 vLLM<sup>[17](https://arxiv.org/html/2608.18689#bib.bib26)</sup>，在单个 H200 GPU 上运行，使用贪心解码。我们还训练了 **whisper-small**<sup>[22](https://arxiv.org/html/2608.18689#bib.bib17)</sup>作为小型模型基线。  

**LoRA 微调。** 我们使用 LoRA<sup>[16](https://arxiv.org/html/2608.18689#bib.bib25)</sup>在 SLURP-TN 训练划分上对每个模型进行微调，同时冻结音频编码器和音频-文本对齐器。我们使用与零样本设置相同的提示和输出格式，以确保直接比较。对于每个模型，我们在来自两个子任务的数据上联合训练一个单独的 LoRA 适配器，并在意图识别和槽位填充上分别进行评估。我们训练所有模型两个 epoch，并使用最后一个检查点，不根据保留集损失选择检查点。附录 D<sup>[1](https://arxiv.org/html/2608.18689#A4)</sup>提供了完整的超参数、模型合并和推理设置，以及 Whisper 基线，而附录 E<sup>[1](https://arxiv.org/html/2608.18689#A5)</sup>提供了子任务提示。  

**最终系统。** 我们选择 **Qwen3-Omni-30B-A3B** 作为我们的提交系统，并使用真实和合成数据的组合对其进行两个 epoch 的微调。  

## 5 结果  
在表 2<sup>[1](https://arxiv.org/html/2608.18689#S5.T2)</sup>中，我们报告了在 dev-test 和官方测试集上的结果。我们在表 3<sup>[1](https://arxiv.org/html/2608.18689#A1.T3)</sup>中提供了更多模型级别的结果，并在附录 B<sup>[1](https://arxiv.org/html/2608.18689#A2)</sup>中进行了错误分析。  

**官方测试结果。** 我们的最终系统在槽位填充（子任务 5.2）中排名第 1，CoER 为 59.5，CVER 为 94.2；在意图识别（子任务 5.1）中排名第 4，准确率为 66.1%，加权 F1 分数为 66.9%。对于意图识别，初始提交仅达到 30.4% 的准确率，而 dev-test 上为 86.8%。我们的分析表明，大约 40% 的官方测试话语对应于训练期间可用的 23 个标签之外的意图。因此，模型为 56.8% 的测试话语预测了宽泛的 **general_quirky** 意图，而 dev-test 上为 20.8%（gold 为 18.8%）。因此，我们在推理时将 **general_quirky** 映射到公认的 **unknown** 标签，使弃权显式化。这种确定性映射无需重新训练，并将意图准确率提高了 35.7 个百分点，达到 66.1%，在 8 个团队中排名第 4。  

**表 2：两个子任务的结果。**