基于说话人日志引导的Qwen-ASR多语言双人对话语音自适应

arXiv cs.CL 论文
speech-recognition multilingual speaker-diarization fine-tuning reinforcement-learning asr-adaptation machine-learning-challenge

摘要

本文介绍了为MLC-SLM 2026挑战赛设计的系统，该系统结合了说话人日志与微调后的Qwen-ASR，采用监督式全参数微调、合成语音上的LoRA以及GRPO强化学习，在最终评测集上实现了17.97的tcpMER。

arXiv:2607.08208v1 公告类型：新 摘要：本文描述了为MLC-SLM 2026挑战赛任务一设计的系统，用于多语言双人对话语音。该系统将模块化说话人日志前端与经过挑战赛适配的Qwen3-ASR-1.7B识别器相结合。说话人日志前端执行语音活动检测、子片段生成、CAMPPlus说话人嵌入提取、双人说话人谱聚类以及基于RTTM的音频分割。生成的说话人归属片段按语言或地区分组，并由适配后的ASR模型解码。对于ASR适配，我们首先在官方训练数据上进行监督式全参数微调，然后利用三流水线TTS合成语音增强框架生成的合成语音进行LoRA微调，最后使用GRPO强化学习对模型进行优化，奖励基于WER/CER，并对幻觉、重复和长度偏差进行惩罚。在官方开发集上，完整系统实现了23.70的平均tcpMER，相比发布的Qwen-ASR-1.7B性能将错误率降低了6.83个绝对点。在最终评测集上，系统实现了17.97的平均tcpMER。消融实验表明，监督式微调带来的增益最大，而合成语音LoRA适配和强化学习进一步提升了鲁棒性。
查看原文
查看缓存全文

缓存时间: 2026/07/10 06:13 

# 基于说话人日记化引导的Qwen-ASR自适应方法用于多语言双人对话语音
来源：https://arxiv.org/abs/2607.08208
查看PDF (https://arxiv.org/pdf/2607.08208)

> 摘要：本文描述了为MLC-SLM 2026挑战赛任务1自行设计的系统，用于多语言双人对话语音。该系统将模块化说话人日记化前端与经过挑战适配的Qwen3-ASR-1.7B识别器相结合。日记化前端执行语音活动检测、子片段生成、CAMPPlus说话人嵌入提取、双说话人谱聚类以及基于RTTM的音频分割。生成的说话人归属片段按语言或地区分组，并由适配后的ASR模型解码。在ASR适配方面，我们首先在官方训练数据上进行有监督全参数微调，然后利用三流水线TTS合成语音增强框架生成的合成语音进行LoRA微调，最后使用基于WER/CER奖励以及幻觉、重复和长度偏差惩罚的GRPO强化学习对模型进行优化。在官方开发集上，完整系统实现了平均tcpMER为23.70，相比已发布的Qwen-ASR-1.7B性能，错误率降低了6.83个绝对点。在最终评估集上，系统实现了平均tcpMER为17.97。消融实验结果表明，有监督微调贡献最大，而合成语音LoRA适配和强化学习进一步提升了鲁棒性。

## 提交历史

来自：Hao Wu [查看电子邮件 (https://arxiv.org/show-email/d5d77cf0/2607.08208)] **[v1]**Thu, 9 Jul 2026 08:07:34 UTC (32 KB)

相似文章

面向 IWSLT 2026 同声传译任务的 MLLP-VRAIN UPV 系统

arXiv cs.CL

本文描述了 MLLP-VRAIN UPV 系统在 IWSLT 2026 同声传译任务中的应用，该系统使用了 Parakeet 和 Qwen 3.5 模型，结合自适应“黑盒”策略和 RAG 机制以获取上下文，实现了显著的质量提升。

Qwen-Audio-3.1-ASR 技术报告

Hugging Face Daily Papers

Qwen-Audio-3.1-ASR 技术报告介绍了一系列音频语言模型，在语音识别、说话人分离转录和通用音频理解方面较 Qwen-Audio-3.0-ASR 有显著提升，支持 30 种语言和 16 种汉语方言，并提供流式与非流式等多种部署变体。