应对合成语音的挑战与机遇
摘要
OpenAI 讨论了其语音引擎技术面临的挑战和机遇,强调了安全措施、使用政策以及社会需要提高对合成语音风险的抵御能力。该公司目前仅进行小范围预览,尚未广泛发布该技术,同时倡导改进语音认证并提高公众对人工智能能力的认识。
我们分享了对语音引擎小规模预览的经验教训,这是一个用于创建自定义语音的模型。
查看缓存全文
缓存时间: 2026/04/20 14:47
# 探讨合成语音的挑战与机遇
来源:https://openai.com/index/navigating-the-challenges-and-opportunities-of-synthetic-voices/
我们认识到生成类似真人语音的技术存在严重风险,在选举年尤为值得关注。我们正在与来自政府、媒体、娱乐、教育、民间社会等各个领域的美国和国际合作伙伴进行沟通,以确保在开发过程中融入他们的反馈意见。目前正在测试 Voice Engine 的合作伙伴已同意遵守我们的使用政策 (https://openai.com/policies/usage-policies),这些政策禁止在未获得同意或法律授权的情况下冒充他人或组织。此外,我们与这些合作伙伴的协议要求获得原始说话人的明确知情同意,并且我们不允许开发者构建让用户创建自己语音的功能。合作伙伴还必须向其听众清楚地披露他们听到的语音是由人工智能生成的。最后,我们已实施一套安全措施,包括对 Voice Engine 生成的任何音频进行水印标记以追踪其来源,以及对其使用方式的主动监控。我们相信,任何合成语音技术的广泛部署都应该配备语音身份认证体验来验证原始说话人是否故意将其语音添加到服务中,以及包含禁用语音列表以检测并防止创建过于相似于知名人物的语音。
Voice Engine 是我们承诺理解技术前沿并公开分享人工智能技术可能性的延续。根据我们的人工智能安全方法 (https://openai.com/blog/our-approach-to-ai-safety) 和自愿承诺 (https://openai.com/blog/moving-ai-governance-forward),我们选择预览此技术,但目前不进行广泛发布。我们希望 Voice Engine 的预览既能强调其潜力,也能促使社会增强抵御能力以应对日益逼真的生成模型所带来的挑战。具体来说,我们鼓励采取以下措施:
- 逐步停止将基于语音的身份认证用作访问银行账户和其他敏感信息的安全措施
- 探索政策以保护个人语音在人工智能中的使用
- 向公众宣传和教育人工智能技术的能力和局限性,包括欺骗性人工智能内容的可能性
- 加快开发和采用追踪视听内容来源的技术,使人们始终能够清楚地了解自己是在与真人还是与人工智能互动
全球人民了解这项技术的发展方向很重要,无论我们最终是否会广泛部署它。我们期待继续与政策制定者、研究人员、开发者和创意工作者就合成语音的挑战和机遇进行对话。
相似文章
深入探讨 Voice Engine 的工作原理和我们的安全研究
OpenAI 详细介绍了 Voice Engine 的开发历史和安全方法,从 2022 年的内部测试到包括 ChatGPT 语音模式和 TTS API 在内的各种有限部署,强调了与专业配音演员的谨慎推出和与政策制定者的持续合作,以应对合成语音风险。
OpenAI的新语音模型不止于回话
OpenAI推出了三个新的实时音频模型,支持连续、多任务的语音交互,优先考虑长上下文推理、实时翻译和无缝工具使用。
目前AI语音代理面临的最大问题是什么?
讨论AI语音代理在真实客户交互中面临的主要挑战,如口音处理、延迟和集成,并邀请企业分享经验。
语音感觉是AI智能体被低估的输出层
本文讨论了语音作为AI智能体输出层未被充分利用的潜力,重点介绍了超越简单文本转语音的实际用例和工作流程挑战。
关于语言模型安全性和滥用的经验教训
OpenAI 分享了在语言模型安全性和滥用方面吸取的经验教训,讨论了衡量风险的挑战、现有基准的局限性,以及他们开发的新型毒性和政策违规评估指标。该文章还强调了对劳动力市场影响的担忧,以及继续研究大规模AI部署社会影响测量的必要性。