标签
介绍了一种具有可验证奖励的强化学习方案，用于将音频语言模型数据高效地适应到代码切换ASR，在10个语言对上以最少数据实现了显著提升。
在黎凡特阿拉伯语语音合成和英语代码切换方面取得了重大突破，使用单张RTX 3060在一晚上实现了76%的提升。
作者分享了将语音代理中的TTS替换为专为双语（阿拉伯语和英语）对话设计的自定义模型（Banter 1）的经验，这显著降低了感知延迟。
本文介绍了STEER，一种梯度引导的攻击方法，通过将高归因词翻译成低资源语言来绕过拒绝机制，利用了大语言模型安全训练分布的漏洞，在AdvBench上实现了高达96.7%的攻击成功率，并迁移到GPT-4o-mini上达到35.5%的攻击成功率。
本文提出渐进式代码切换（PCS），这是一种结合课程学习的强化学习方法，逐步增加LLM中的代码切换比例，从而实现多语言推理能力的高效迁移。
介绍了MultiClin，一个用于评估多脚本临床环境中ASR性能的基准测试，结果表明脚本统一化比传统的单一参考指标更能提升性能。
ServiceNow AI 发布了一个基准测试和数据集，用于评估自动语音识别（ASR）在跨四种语言对（西班牙语-英语、法语-英语、加拿大法语-英语、德语-英语）的企业HR和IT场景中的代码切换语音上的表现，发现当前前沿ASR模型在代码切换方面仍存在困难，导致错误率较高。
提出了一种POI感知的对比训练框架，利用LLM生成的近失假设来增强ASR在代码切换区域的鲁棒性，在两个基准测试上实现了一致的错误率降低。
本文研究了从有限的已见语言对学到的代码切换ASR能力是否可以通过模型合并和域泛化方法泛化到未见过的语言对，结果发现只有有限的迁移。
本文介绍了BOUTEF，一个用于研究阿尔及利亚和突尼斯假新闻的大规模多语言语料库，涵盖阿拉伯方言、Arabizi、法语、英语及语码转换。该语料库包含对语言策略和互动动态的实证分析。
本文应用直接偏好优化（DPO）来对齐音频大语言模型，以转录中英文混合语音，在分布内实现了高达89.6%的MER降低，在分布外实现了20%的降低。它识别出三种失败模式——语言遗漏、翻译替代转录以及幻觉——并表明基于偏好的对齐能有效激发多语言音频大语言模型的正确混合转写行为。
本文提出了一个基准测试，评估了五个商业ASR系统在阿拉伯语-英语、波斯语-英语和德语-英语代码切换语音上的性能，使用两阶段管道为每个语言对选择300个样本，并通过WER和BERTScore评估性能。ElevenLabs Scribe v2在整体上取得了最低的WER（13.2%）和最高的BERTScore（0.936），并提供公开数据集。
MUSCAT是一个新的多语言科学对话基准数据集，用于评估ASR系统在具有挑战性的多语言场景中的表现，包括代码混合、特定领域词汇和混合语言输入。该数据集包含使用不同语言的说话者之间关于科学论文的双语讨论，结果表明当前的最先进系统在应对这些多语言挑战时存在困难。
本文介绍了一个数据高效的微调框架，用于教授推理模型有效地进行代码切换（混合使用多种语言），证明了战略性的代码切换可以提升低资源语言的推理能力。该工作分析了大型语言模型在不同语言、任务和领域中的代码切换行为，并开发了促进有益代码切换模式的干预措施。
研究者发布 CSR-L 与 CS-MTEB 基准，发现语码转换查询使 IR 系统性能下降高达 27%，并揭示嵌入空间 divergence 是当前多语言技术无法修复的根本原因。