标签
本文介绍了DuplexSpeechBench-IFEval,一个用于评估全双工语音代理中隐式指令遵循的基准测试,包含1,038个测试用例,涵盖八个角色和五种协议,以评估实时语音系统对显式行为与角色隐含行为的遵循程度。
AVERT通过集成音频验证和跨轮次一致性来纠正错误,从而增强口语对话状态跟踪,在无需重新训练的情况下提升了SpokenWOZ基准测试上的性能。
本文介绍了VoiceLongMemEval (VLME)基准,它评估AI助手在长期对话中记忆和推理语音副语言元数据(如情感和韵律)的能力,揭示了当前模型中存在的'情感差距'。
本文介绍了V2TATC,一个用于空中交通管制员情境感知的联合语音-轨迹嵌入框架,并引入了一个用于拥挤空域跨模态检索实验的新型数据集。
本文提出了一种通用风格感知全双工框架,包含一个轻量级的轮换控制器LPS-TC;引入了一个大规模数据集WildTurn,用于真实世界对话;并提出了一种两级评估方案,以增强对话系统中的主动语音交互和响应质量。
本文提出了STeReO,一个用于协调异构语音和文本检索器的重排序器,通过改善多模态场景中的证据选择来增强检索增强生成(RAG)系统。
这项研究测试了实时语音AI模型在语音中识别情绪线索的能力,发现尽管它们能检测到痛苦或讽刺等情绪,但这些信息并不能可靠地影响决策,突显了当前系统在情感智能方面的差距。
NVIDIA 推出了 Nemotron 3 VoiceChat,这是一个AI模型,能够实现实时全双工语音交互,允许自然中断,可通过实时演示体验,作为其开源 NeMo Speech 框架的一部分。
一条推文分享了一份来自 Stanford University 的17页PDF,解释了隐马尔可夫模型,这是机器学习和语音处理中的一个基础概念。
本文提出了一种新颖的训练准则,旨在减少自动英语口语能力评估系统对捷径的依赖,防止考生在没有真正进步的情况下通过利用捷径提高分数。在基于音频和文本的系统的实验表明,该方法降低了与可被利用特征的相关性,使自动评分更接近人工评判。
本文提出了SAMPA,一种基于Whisper的分割器,在巴西葡萄牙语语音数据上微调,可自动标记终端韵律边界,在留出集和分布外数据集上取得了具有竞争力的F1分数。
本文提出了一种用于音频情感极性分类的多模态解决方案,通过跨模态转换器集成音频和多语言文本转录,并利用知识蒸馏增强纯音频模型,在推理过程中不增加计算开销。
本文研究了对话时间动态(话轮对时序)作为一种轻量级模态,用于从双人临床访谈中自动检测抑郁。结果表明,一个紧凑的24维时序模块表现出色,并且在融合时能够补充标准的声学和语义特征。
本文描述了 NAVER LABS Europe 参与 IWSLT 2026 指令跟随短轨道的提交方案。该方案改进了他们之前获胜的系统,使用了仅基于 ASR 数据训练的新语音投影器(SpeechMapper),并通过合成 SQA 数据集(fakACL)增强了训练。最终系统在使用较弱 LLM 骨干的情况下,在受约束轨道中并列第一。
一篇关于自动化演讲辅导系统的综述,回顾现有系统,引入一个涵盖发音、重音、韵律、节奏和内容忠实度的五维任务分类法,并指出了标注稀缺、口音公平性和低延迟反馈等开放挑战。
2026年1月6日发布的《Speech and Language Processing》第3版草案由Dan Jurafsky和James H. Martin撰写,采用了修订后的结构,重点关注大型语言模型并更新了章节。
一个没有运行时依赖的 distilHuBERT C++ 实现,权重编译入库,支持动态大小,性能与 ONNX Runtime 相当,便于集成到 CMake 项目中。
本文引入了一种语义-时间尺度分析流程,研究人类和AI生成语音中通用与特定内容随时间分布的方式,揭示自相关窗口度量能够捕捉超越静态词汇分布的语义时间组织。
一种新颖的多语言词级强制对齐方法,结合了来自MMS的自监督表示和音素边界检测器,以及一个学习动态规划解码器,在英语和未见过的语言上优于现有对齐方法,无需额外训练。
InfoShield 提出了一种基于信息论优化的隐私保护语音表示方法,用于心理健康筛查,在减少敏感属性推断的同时保持诊断准确性。一种新颖的 TimeAwareMINE 估计器解决了时序语音中的时静态错位问题。