speech-models

标签

Cards List
#speech-models

TontaubeV1-Verbalizer:面向小型语音模型的超快速开源言语化模型

Reddit r/LocalLLaMA ↗ · 昨天

TontaubeAI 发布了 TontaubeV1-Verbalizer,这是一款基于 Qwen3 1.7B 骨干模型微调、采用 Apache 2.0 许可证开源的大语言模型文本口语化模型,可将书面英语文本转换为适合小型 TTS 模型的口语形式文本,在 RTX 3090 上处理一份 20,000 字符的文档耗时不到 2 秒。

0 人收藏 0 人点赞
#speech-models

Pete Warden 谈本地 AI、开源模型、语音接口与硬件的未来

Hacker News Top ↗ · 昨天 缓存

本期播客邀请了 Moonshine Voice 联合创作者 Pete Warden,探讨 AI 为何正转向设备端执行、开放权重与量化模型的进展、低延迟语音接口,以及以 GPU 为中心的基础设施之外的硬件替代方案。

0 人收藏 0 人点赞
#speech-models

@omarsar0:语音 AI 的下一个突破或许并不是又一个模型登上榜首,而是对……更深入的理解

X AI KOLs Timeline ↗ · 2026-10-30 缓存

语音 AI 的下一次突破,或许将来自对模型评估方式的重新思考,而非评选出新的最强模型。Voice Arena 的图灵 TTS 基准测试衡量的,正是人类听众将 AI 语音误认为真人语音的频率。

0 人收藏 0 人点赞
#speech-models

@rohanpaul_ai:一个级联式语音智能体刚刚在一项人类偏好盲测排名中击败了原生语音到语音模型。今天,Cartesi…

X AI KOLs Following ↗ · 2026-10-30 缓存

Cartesia 推出了 Managed Agents,这是一个端到端的企业级语音智能体平台。通过将级联语音模型与智能体运行框架作为一个整体系统协同设计,该平台在 Artificial Analysis 的 Speech Agent Arena 和 ServiceNow 的 EVA-Bench 的人类偏好盲评排名中均位居榜首。

0 人收藏 0 人点赞
#speech-models

@svpino: 来自 @voicearena_ai 的超酷语音数据集,非常适合训练对话模型!这对于任何从事……研究的人来说都很有价值

X AI KOLs Following ↗ · 2026-10-29 缓存

SVPino 强调了 Voice Arena AI 的 Joy 数据集——一个包含 10 万小时的双通道对话式语音数据集,拥有独立的每说话人音轨,并涵盖语音重叠、打断、停顿和反馈词(backchannels),旨在教会语音模型掌握对话节奏。

0 人收藏 0 人点赞
#speech-models

为什么全双工语音模型会在长对话中崩溃

arXiv cs.CL ↗ · 2026-10-26

提出全双工长时程基准(FD-LHB),发现现有全双工语音模型在长时间对话中会因上下文耗尽或重复、静音、乱码而崩溃,并通过初始化锚点固定和双工重复惩罚两种免重训练修复方法显著缓解对话退化。

0 人收藏 0 人点赞
#speech-models

你就是触发器:说话人激活后门

arXiv cs.LG ↗ · 2026-10-21 缓存

这篇论文提出「说话人激活后门」(SAB)设置,攻击者在微调阶段仅用目标说话人约两分钟的自然语音即可植入后门,使该说话人的声音本身成为触发器,在Whisper-medium和Parakeet上分别达到90.2%和97.0%的后门成功率,且触发在转写层不可见,还能向GPT-4o和Claude等下游LLM代理注入恶意指令。

0 人收藏 0 人点赞
#speech-models

@AdinaYakup:蚂蚁集团刚刚发布了全新的语音与音频模型!https://huggingface.co/collections/inclusionAI/ming-30…

X AI KOLs Timeline ↗ · 2026-10-19 缓存

蚂蚁集团(inclusionAI/Ant Ling)发布 Ming-3.0 系列语音与音频模型,涵盖 TTS、ASR 及音频模型,已在 Hugging Face 和 ModelScope 上线,参数规模从 0.5B 到 128B 不等。

1 人收藏 1 人点赞
#speech-models

PEDBench:语音模型能检测语音错误吗?

arXiv cs.CL ↗ · 2026-10-16 缓存

PEDBench 是首个涵盖自然语音、表演语音和合成语音的语音错误检测基准,对 13 个语音模型进行了评估,发现它们无法可靠地检测语音错误。使用合成数据微调的语音语言模型在词级错误检测上优于基线模型,但模拟与真实场景之间仍存在差距。

0 人收藏 0 人点赞
#speech-models

人们的交谈:评估语音模型对话的自然程度

arXiv cs.CL ↗ · 2026-10-12 缓存

该论文提出 PeopleMakingConversation 基准,通过 176 段非脚本对话中的 427 个停顿点和 482 个话轮结束点,评估六个实时语音系统在何时开口、延迟、回复长度与对话记忆等方面的自然对话表现,并公开数据与评测框架。

0 人收藏 0 人点赞
#speech-models

多语言语音模型中的音系干扰

arXiv cs.CL ↗ · 2026-10-09 缓存

该论文将'音系干扰'认定为多语言音素级语音模型中一种系统性的失效模式:模型会套用单一假设语言的音系规则,在面对语码混合或未见语言的输入时,覆盖原本正确的音素判定。为此,论文提出了一种推理阶段的修复方法——窗口化语言估计(WLE),能够在不损害单语性能的前提下,减少34%至69%的音系干扰。

0 人收藏 0 人点赞
#speech-models

迈向「模型即库」:面向低资源非洲语言的离线、社区众包式 AI

arXiv cs.AI ↗ · 2026-10-01 缓存

这篇立场论文提出了「模型即库」(Model as a Library,简称 MaaL)这一软件架构,它将小型、由社区招募数据训练而成的语音模型打包为带版本管理的设备端依赖项,用于低资源非洲语言场景下离线且无幻觉的数据采集。论文提出利用关键词识别,将封闭词表的数字表单转变为面向识字率较低人群的语音化、设备端数据采集流程,并将现有的表单工具转译为 MaaL 模式。

0 人收藏 0 人点赞
#speech-models

Duplex-MPE: 全双工对话中的多方交互基准测试

Hugging Face Daily Papers ↗ · 2026-09-25 缓存

本文介绍了Duplex-MPE,一个用于评估AI助手在多方全双工对话中的基准,包含2000个场景,评估模型在响应启动、准确性和静默保持方面的表现。

0 人收藏 0 人点赞
#speech-models

全双工语音模型中工具调用的前后端架构

arXiv cs.CL ↗ · 2026-09-18 缓存

本文提出了一种前后端架构,用于在全双工语音模型中实现工具调用。语音前端将任务委托给基于文本的LLM后端进行工具调用,从而保持低延迟和自然交互。

0 人收藏 0 人点赞
#speech-models

我刚刚说了什么?——面向全双工语音模型的自我监听机制

Hugging Face Daily Papers ↗ · 2026-09-04 缓存

本文提出"自我聆听"方法,应用于全双工口语模型。该方法将模型生成的语音反馈作为输入,以增强对话打断时的恢复能力,并提升生成语音与实际口语回应的一致性。

0 人收藏 0 人点赞
#speech-models

@tryaircaps: 今日,我们正式发布 AirCaps Audio Research Lab。现实音频的理解难度是数字世界的 10 倍……

X AI KOLs Following ↗ · 2026-09-02 缓存

AirCaps Audio Research Lab 推出专为复杂现实环境设计的流式语音和音频模型,声称在边缘硬件上的性能优于领先的云模型。

0 人收藏 0 人点赞
#speech-models

@nrol_ling: 七种语言,4,421条话语:情感在所有语言中是否以相同方式表示?大部分是的。几何形状对齐……

X AI KOLs Timeline ↗ · 2026-08-24 缓存

研究发现,在语音模型中,情感表示在七种语言中大多是通用的,有一个可衡量的‘口音’,这与人类跨文化研究相似,并影响跨语言迁移。

0 人收藏 0 人点赞
#speech-models

@OrukLabs:这些模型从未被告知什么是情感。它们只被训练转录文字,或填充掩码音频。……

X AI KOLs Following ↗ · 2026-07-04 缓存

OrukLabs的一项研究表明,仅通过转录或掩码音频任务训练的语音模型,会自动在深层中学习表达情感,这一点通过映射真实语音片段得以揭示。

0 人收藏 0 人点赞
#speech-models

RedVox:跨语言语音模型的安全与公平性差距

arXiv cs.CL ↗ · 2026-06-26 缓存

本文介绍了RedVox,一个用于语音模型的多语言安全与公平性基准。通过对五种语言中八个最先进模型的评估,发现存在持续漏洞,且在非英语环境和语音输入情况下更为严重。

0 人收藏 0 人点赞
#speech-models

SpeechEQ:在社交感知语音对话模型中评估情商指数的基准

arXiv cs.CL ↗ · 2026-06-25 缓存

SpeechEQ引入了一个用于评估语音语言模型情商的基准和数据集,涵盖2,265个对话中的15个情商子量表。实验表明,当前模型在处理副语言线索时存在困难,表现出依赖文本的捷径以及其他局限性。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈