我制作了一份有据可查的实时语音对语音模型对比
摘要
作者整理了一份公开的、有据可查的实时语音对语音AI模型对比,详细介绍了中断行为、定价和集成功能,并附有经过验证的链接。
我在评估实时语音模型时,总是遇到同一个架构问题:谁拥有话语权?我将我的研究整理成了一份公开参考资料,对比了OpenAI Realtime、GPT-Live、Gemini Live、Amazon Nova Sonic、Grok Voice和Ultravox。它涵盖了中断行为、受保护语音、文本响应、工具执行、对话历史、集成、定价估算、评估以及开源权重模型。每一行比较都链接到其来源,并标注了最后验证日期。未知项用 ? 标记,而不是猜测。对于剩余的未知单元格,我特别欢迎更正或原始来源。
相似文章
@Thom_Wolf: 大多数人都应该更新他们对开源语音到语音技术现状的认知。老实说,这有点令人…
Thom Wolf 和 Cerebras 发布了一个完全开源、带有模型和代码的实时语音演示,展示了最先进的语音到语音能力。
微软测试新的 MAI Realtime 语音模型(2分钟阅读)
微软正在其 MAI Playground 上以早期访问形式测试一款新的原生实时语音模型 MAI Realtime。该全双工系统支持多种语言、低延迟和可配置的轮流对话,定位为 OpenAI GPT Live 和 Sesame 的竞争对手。
OpenAI的新语音模型不止于回话
OpenAI推出了三个新的实时音频模型,支持连续、多任务的语音交互,优先考虑长上下文推理、实时翻译和无缝工具使用。
@kwindla:OpenAI 今天发布了一款新的语音到语音模型:gpt-realtime-2 这是首个足够好的语音到语音模型……
OpenAI 发布了 gpt-realtime-2,一款新的语音到语音模型,针对实时语音代理交互和低延迟工具调用进行了优化。
Eleven Realtime(官网)
ElevenLabs 推出 Eleven Realtime,一套端到端优化的 Speech-to-Speech 语音模型(v1 Mini 与 v1 Max),支持实时语音对话,并提供与 OpenAI Realtime API 兼容的接口,可在 ElevenAgents 中快速构建语音助手。