标签
本文研究流式说话人分离模型(Streaming Sortformer v2)在小数据适配时出现的'看似提升实则遗忘'现象,揭示聚合指标(DER)掩盖的身份一致性退化,并探讨rehearsal在恢复与跨域迁移之间的权衡。
对15段临床对话的说话人分离模型比较显示,Pyannote Precision-3实现了最低的DER,Nemotron 3是最快的本地模型,并通过专有运行时进行了优化改进。
NVIDIA 发布了 Nemotron 3 Diarization,这是一个开源100M参数模型,实现了最先进的说话人识别,错误率为14.72%,支持最多八名说话人的实时和离线处理。
Bairong系统提出了一种用于多语言对话语音问答的动态问题感知证据路由方法,在MLC-SLM 2026挑战赛中通过有效整合转录和音频证据实现了性能提升。
本文提出了一个级联框架,用于说话人归属多语言ASR,在MLC-SLM 2026挑战赛中获得第二名,tcpMER为15.41%。
Qwen 发布了 Qwen3.8-LiveTranslate,这是一款实时同声传译模型,将平均延迟从 2.8 秒降低到 2.3 秒,并新增了说话人识别和长上下文消歧等功能。
公共话语语料库(PDC)是一个新的说话者归属数据集,包含998个视频和186,642个句子,标注了情感效价和认知模态,包括目标说话者参与和开源处理工具。
本文提出DiaWhisper-DPO,一个用于临床访谈转录和角色归因的端到端模型,采用失败挖掘的偏好优化,相比级联基线实现高准确度并减少错误。
Meta发布了Muse Voice Transcribe,这是一款实时语音转文本模型,具有3.1%的词错误率和自适应流功能,使其适用于语音代理。
Nemotron-3-Diarization是NVIDIA推出的一款开放权重说话人分离模型,用于真实世界音频分析,支持流式和离线推理,最多支持八个说话人,并且允许商业使用。
本文介绍了第二届MLC-SLM挑战赛的技术,包括随机前置静音裁剪和合成数据生成,以提升多语言对话语音任务,实现了准确率提升和错误率降低。
Indic DiarBench 是一个多语言联合说话人日志与自动语音识别基准,覆盖印度全部22种官方语言,包含108小时人工校正的多说话人音频,捕捉了语码混合、说话人重叠等对话细节。
Microsoft 发布了 vibevoice,这是一个7B参数的模型,可以一次性转录长达一小时的音频,内置说话人日志和时间戳,支持50多种语言,并且本地运行,无需API费用。
MOSS-TD是一个说话人感知的ASR系统,在SGLang-Omni服务栈中进行了优化,能够在单张H100上以约49秒转录38分钟的多说话人音频,并支持16个会议的并发处理。
本文提出一个诊断框架,用于在基于LLM的公共话语立场分析中分离预处理流程不稳定性和测量方法不稳定性,发现跨方法的不一致性比流程效应更大且更具系统性,并且聚合指标可能会掩盖这些不稳定性。
本文介绍了为MLC-SLM 2026挑战赛设计的系统,该系统结合了说话人日志与微调后的Qwen-ASR,采用监督式全参数微调、合成语音上的LoRA以及GRPO强化学习,在最终评测集上实现了17.97的tcpMER。
Meetily 是一款隐私优先的开源会议记录工具,100% 本地运行,支持实时转录、说话人分离和自动摘要,使用 Rust + Tauri 构建,MIT 协议,适合律师、医生等有隐私要求的行业。
EdgeSpeak 正式发布,一款本地优先、保护隐私的精准转录工具,支持语义分段和时间戳,兼容 OpenAI Audio API 等,后续将增加说话人标记和语音生成功能。
微软开源了语音AI框架VibeVoice,支持60分钟长音频一次性转写、多说话人分离和时间戳标注,同时提供多角色TTS合成能力,底层基于Qwen2.5并配有0.5B轻量实时版本,已在GitHub获得24.8k星标。
MUSCAT是一个新的多语言科学对话基准数据集,用于评估ASR系统在具有挑战性的多语言场景中的表现,包括代码混合、特定领域词汇和混合语言输入。该数据集包含使用不同语言的说话者之间关于科学论文的双语讨论,结果表明当前的最先进系统在应对这些多语言挑战时存在困难。