谁说了什么，而且会被记住吗？评估跨会议的持续说话人归属

Hugging Face Daily Papers 论文
speaker-attribution diarization speaker-verification speech-recognition benchmark pyannote

摘要

本文提出了 SI-cpWER——一种面向跨会议持续说话人归属的语料级评测指标，并在 NOTSOFAR 和 CHiME-6 上对 5 个商用说话人分离+语音识别 API、2 个开源基线（以及作者自己的 ThyVoice 系统）进行了评估，结果表明，单场会议内的排名并不能反映跨会议的身份一致性。短版本已被 IEEE SLT 2026 Demo Track 接收。

作为长期记忆使用的语音转写，必须同时保留文字内容和稳定的说话人身份。现有的会议转写指标要么忽略说话人，要么在每段录音中独立地对匿名说话人重新映射，因此无法衡量同一个人是否在不同会议中保持一致的身份。我们使用 Speaker Identified cpWER（SI-cpWER）来评估持续说话人归属，该指标在统一的全局说话人 ID 分配下对整个语料进行打分。评测基准覆盖五个商用的“先分离后识别”级联系统、两个开源学术基线以及 ThyVoice，使用的是完整的 129 场 CHiME-8 NOTSOFAR 评测集（含干净与加噪两种形式），并辅以 CHiME-6。ThyVoice 是我们的端到端参考系统，它能够修复语音重叠，并对用于构建和更新声纹的证据进行门控过滤。要求身份具有持续性改变了商用系统的排名：在全部三种条件下，ThyVoice 的 SI-cpWER 均低于每一个被评测的商用级联系统，在完整评测面板中取得最低的平均分，为 47.13，而排名第二的系统为 54.75。互补的词汇、说话人分离、单录音归属及说话人聚类诊断指标，刻画了最终归属记录中上游错误的分布情况。这些结果表明，对于那些会在不同时间复用对话的系统，持续说话人归属必须被直接评估。
查看原文
查看缓存全文

缓存时间: 2026/10/01 20:24

论文页面 - 谁说了什么，以及会被记住吗？跨会议持续说话人归因评估

来源：https://huggingface.co/papers/2609.39344

会议转写文本通常是一次一段录音地进行评分，因此一个系统可能看起来表现很好，但在不同会议之间却给同一个人赋予了不同的身份。我们使用 SI-cpWER 来衡量这一点：即在整个语料库上使用单一说话人映射计算的 cpWER。

我们评估了 5 个商业化的分离式语音转写 API 和 2 个开源基线系统，每个都搭配同一个 pyannoteAI 声纹后端，此外还评估了我们的参考系统 ThyVoice，测试数据集为 NOTSOFAR（干净语音和噪声增强语音）以及 CHiME-6。商业系统的排名会随之变化：单场会议 cpWER 最优的系统，并不一定能获得最佳的跨会议归因效果。

该报告还按不同层级拆解了错误（WER、DER/JER、说话人聚类），并测试了重叠语音处理方式和注册音频对身份识别的影响。

该论文的短版本已被 IEEE SLT 2026（Demo Track）接收。

相似文章

OSynth: A Longitudinal, Context-Sensitive Evaluation of Meeting Understanding

arXiv cs.CL

Otter.ai researchers present OSynth, a large-scale synthetic meeting dataset of 570 hours with latent ground-truth state, showing that state-of-the-art MLLMs gain significant quality on entity-sensitive dimensions when given broader workspace context. Human raters distinguished OSynth meetings from real transcripts with only 56% accuracy.

SPARC：语音身份作者识别语料库

Hugging Face Daily Papers

SPARC 提出了一个包含超过 12,500 名说话人和 150 万条话语的基准数据集，用于研究仅从转录文本中能在多大程度上验证说话人身份和人口统计属性，并对归属模型和 LLM 对抗方进行了评估。研究发现，LLM 能够区分同一说话人的配对，并在机会水平之上验证性别/口音标签，而 50 词的短摘录可降低关联风险。

ContextEcho: 面向长时代理编码会话中人设漂移的基准测试

arXiv cs.CL

本文介绍ContextEcho，一个用于在长时间使用工具的编码会话中测量大语言模型人设漂移的基准测试和可复用的工具包，揭示即使像Anthropic Sonnet 4.5这样的前沿模型也会表现出显著的漂移，并且这种漂移在会话压缩后仍可能持续存在。