标签
TontaubeAI 发布了 TontaubeV1-Verbalizer,这是一款基于 Qwen3 1.7B 骨干模型微调、采用 Apache 2.0 许可证开源的大语言模型文本口语化模型,可将书面英语文本转换为适合小型 TTS 模型的口语形式文本,在 RTX 3090 上处理一份 20,000 字符的文档耗时不到 2 秒。
本期播客邀请了 Moonshine Voice 联合创作者 Pete Warden,探讨 AI 为何正转向设备端执行、开放权重与量化模型的进展、低延迟语音接口,以及以 GPU 为中心的基础设施之外的硬件替代方案。
语音 AI 的下一次突破,或许将来自对模型评估方式的重新思考,而非评选出新的最强模型。Voice Arena 的图灵 TTS 基准测试衡量的,正是人类听众将 AI 语音误认为真人语音的频率。
Cartesia 推出了 Managed Agents,这是一个端到端的企业级语音智能体平台。通过将级联语音模型与智能体运行框架作为一个整体系统协同设计,该平台在 Artificial Analysis 的 Speech Agent Arena 和 ServiceNow 的 EVA-Bench 的人类偏好盲评排名中均位居榜首。
SVPino 强调了 Voice Arena AI 的 Joy 数据集——一个包含 10 万小时的双通道对话式语音数据集,拥有独立的每说话人音轨,并涵盖语音重叠、打断、停顿和反馈词(backchannels),旨在教会语音模型掌握对话节奏。
提出全双工长时程基准(FD-LHB),发现现有全双工语音模型在长时间对话中会因上下文耗尽或重复、静音、乱码而崩溃,并通过初始化锚点固定和双工重复惩罚两种免重训练修复方法显著缓解对话退化。
这篇论文提出「说话人激活后门」(SAB)设置,攻击者在微调阶段仅用目标说话人约两分钟的自然语音即可植入后门,使该说话人的声音本身成为触发器,在Whisper-medium和Parakeet上分别达到90.2%和97.0%的后门成功率,且触发在转写层不可见,还能向GPT-4o和Claude等下游LLM代理注入恶意指令。
蚂蚁集团(inclusionAI/Ant Ling)发布 Ming-3.0 系列语音与音频模型,涵盖 TTS、ASR 及音频模型,已在 Hugging Face 和 ModelScope 上线,参数规模从 0.5B 到 128B 不等。
PEDBench 是首个涵盖自然语音、表演语音和合成语音的语音错误检测基准,对 13 个语音模型进行了评估,发现它们无法可靠地检测语音错误。使用合成数据微调的语音语言模型在词级错误检测上优于基线模型,但模拟与真实场景之间仍存在差距。
该论文提出 PeopleMakingConversation 基准,通过 176 段非脚本对话中的 427 个停顿点和 482 个话轮结束点,评估六个实时语音系统在何时开口、延迟、回复长度与对话记忆等方面的自然对话表现,并公开数据与评测框架。
该论文将'音系干扰'认定为多语言音素级语音模型中一种系统性的失效模式:模型会套用单一假设语言的音系规则,在面对语码混合或未见语言的输入时,覆盖原本正确的音素判定。为此,论文提出了一种推理阶段的修复方法——窗口化语言估计(WLE),能够在不损害单语性能的前提下,减少34%至69%的音系干扰。
这篇立场论文提出了「模型即库」(Model as a Library,简称 MaaL)这一软件架构,它将小型、由社区招募数据训练而成的语音模型打包为带版本管理的设备端依赖项,用于低资源非洲语言场景下离线且无幻觉的数据采集。论文提出利用关键词识别,将封闭词表的数字表单转变为面向识字率较低人群的语音化、设备端数据采集流程,并将现有的表单工具转译为 MaaL 模式。
本文介绍了Duplex-MPE,一个用于评估AI助手在多方全双工对话中的基准,包含2000个场景,评估模型在响应启动、准确性和静默保持方面的表现。
本文提出了一种前后端架构,用于在全双工语音模型中实现工具调用。语音前端将任务委托给基于文本的LLM后端进行工具调用,从而保持低延迟和自然交互。
本文提出"自我聆听"方法,应用于全双工口语模型。该方法将模型生成的语音反馈作为输入,以增强对话打断时的恢复能力,并提升生成语音与实际口语回应的一致性。
AirCaps Audio Research Lab 推出专为复杂现实环境设计的流式语音和音频模型,声称在边缘硬件上的性能优于领先的云模型。
研究发现,在语音模型中,情感表示在七种语言中大多是通用的,有一个可衡量的‘口音’,这与人类跨文化研究相似,并影响跨语言迁移。
OrukLabs的一项研究表明,仅通过转录或掩码音频任务训练的语音模型,会自动在深层中学习表达情感,这一点通过映射真实语音片段得以揭示。
本文介绍了RedVox,一个用于语音模型的多语言安全与公平性基准。通过对五种语言中八个最先进模型的评估,发现存在持续漏洞,且在非英语环境和语音输入情况下更为严重。
SpeechEQ引入了一个用于评估语音语言模型情商的基准和数据集,涵盖2,265个对话中的15个情商子量表。实验表明,当前模型在处理副语言线索时存在困难,表现出依赖文本的捷径以及其他局限性。