@svpino: 来自 @voicearena_ai 的超酷语音数据集,非常适合训练对话模型!这对于任何从事……研究的人来说都很有价值
摘要
SVPino 强调了 Voice Arena AI 的 Joy 数据集——一个包含 10 万小时的双通道对话式语音数据集,拥有独立的每说话人音轨,并涵盖语音重叠、打断、停顿和反馈词(backchannels),旨在教会语音模型掌握对话节奏。
查看缓存全文
缓存时间: 2026/10/30 03:24
来自 @voicearena_ai 的超棒语音数据集,用于训练对话式模型!
适合所有正在研究或开发语音模型的人。
这里的数据非常酷:
- 每位说话者都有独立的音频轨道
- 可以获取重叠语音数据
- 数据包含打断、停顿和“嗯哼“等语气词
如果你想让模型掌握对话的节奏,就一定要使用每位说话者都有独立音频轨道的数据。
Shobhit Banga (@shobhitbanga): 发布第 1/15 天:隆重推出 Joy——一个双声道对话数据集。 两人之间真实、无脚本的对话,每个人都有独立的音频轨道。旨在教会语音模型人们真正说话的方式:何时倾听、何时插话、何时说“嗯“。
100,000 小时。 50,000
相似文章
@rohanpaul_ai: 我非常喜欢 @voicearena_ai 如何设计这个评估。而不是简单地问一个语音模型是否“更好”……
这条推文强调了 VoiceArena 对语音模型的评估方法,该方法通过盲对投票将任务完成度与自然度分开,并宣布 Jarvis Bench v0.5 作为对话代理基准。
@oliviscusAI:NVIDIA 刚刚移除了语音AI最大的痛点。他们开源了 PersonaPlex 7B,一个实时对话…
NVIDIA 开源了 PersonaPlex 7B,一个实时对话模型,能够同时聆听和说话,与大多数语音模型不同,它可以处理自然的打断和重叠。
@svpino:我为两家不同的公司构建了两个语音管道。它们看起来都是这样的:音频 → STT → 清理转录 → ……
Santiago 指出了传统 STT 管道在丢失语调和情感方面的局限性,然后介绍了 Modulate 公司的 Velma,这是一个原生语音 AI 模型,通过分析原始音频来捕捉意图、情感及其他声学信号,通过 API 获取,其成本比基于 LLM 的方法便宜 10 倍。
Voice Acting Arena
Voice Acting Arena的推出,这是一个通过用户比较来评估配音AI模型的平台,旨在评估其在表演、指导和真实性方面的表现。
@kadirnardev:我之前非常专注于持续预训练和收集真实世界语音数据,但在与 Maxime L… 交谈后,我了解到强化学习和合成数据非常重要。
一位AI开发者分享,通过引入强化学习和合成数据,提高了他们的语音模型的准确性和推理速度,并计划开源该项目。