标签
意大利总理 Giorgia Meloni 已向欧盟知识产权局申请将她的声音注册为声音商标,以遏制 AI 深度伪造。法律专家预测,律师事务所很快会推出「身份组合包」,为客户的声音、面孔和口头禅捆绑注册商标。
一篇引发思考的文章,探讨如今用AI重现逝者声音、写作风格和行为举止的能力日益增强,并提出疑问:让家人保留一个已故亲人的模拟版本在伦理上是否妥当,以及谁有权批准这样一种数字身后事。
Sopro V2 Turbo 是一款拥有 1.2 亿参数的开源 TTS 模型,支持零样本语音克隆,在笔记本 CPU 上即可实现约 300 毫秒的首音输出流式延迟,并可通过 ONNX 在浏览器中运行;尽管规模很小,其清晰度仍达到了 SOTA 级别。
kyutai_labs 发布了一篇技术博客,介绍如何训练 PocketTTS——一个拥有 100M 参数的端上文本转语音(TTS)模型。该模型采用 Deng 等人提出的 drifting 一步式生成目标,WER 低于 1%,同时具备高质量语音和声音克隆能力。据称这是首个以这种方式训练的语音模型,也是首个以这种方式训练的自回归模型。
Fish Audio 发布新一代文本转语音模型 Drama 3,采用 35B 参数 MoE 架构(每 token 激活 3B),支持最多 16 个说话人的多角色长文本生成、语音克隆与自然语言控制,并可在 SGLang-Omni 上流式部署。
Hugging Face 推出了 Open TTS Leaderboard,这是一个客观、可扩展的多语言 TTS 与语音克隆评测框架,采用基于 ASR 的可懂度指标(WER/CER)、速度指标(RTFx/TTFA)以及 WavLM 说话人相似度指标,将模型评测时间从数周缩短至数小时。
Tacit-TTS 将 IndexTTS2 的自回归文本到语义解码替换为掩码非自回归生成,并结合免训练的声学长度估计与 ReFlow 蒸馏,实现了无需参考文本的零样本语音克隆;在时长超过 5 秒的语音上,其生成速度比 IndexTTS2 快 10 倍以上,同时支持跨语言以及非语音(如婴儿咿呀学语、合成乱码)参考音频的克隆。
Qwen3.8-LiveTranslate 是一款 AI 模型,采用交错音频文本架构,减少翻译延迟并提升质量,支持实时说话人分离和语音克隆,涵盖60种语言。
这条推文展示了十个热门的开源 GitHub 仓库,专注于 AI 代理、浏览器自动化、语音克隆和本地模型执行,表明 AI 代理开发基础设施正在增长。
一位独立开发者开源了一款免费的本地AI工具,作为ElevenLabs的替代品,支持语音克隆、646种语言的视频配音等功能,且所有数据均不离开用户设备。
OpenVoice 是一个开源的 AI 语音克隆工具,利用一段简短的参考音频来复制音色,支持多语言和情感调整,并在 GitHub 上获得了显著关注。
Google Labs的Steven Johnson解释了AI如何在未经许可的情况下克隆作家的声音,突出了对版权保护和自由职业经济的挑战。
LoudKit是一款开源的本地TTS工具,支持声音克隆和10种语言,并提供Python、Swift、Go、Rust和TypeScript的SDK,专为在边缘设备上高效运行而设计。
腾讯开源了一个名为AuK的1.5B参数AI模型,可以替代多个音频工具,通过自然语言指令处理TTS、语音克隆和降噪等任务。
本文探讨了神经语音合成中的三个汇聚工具链——声音身份、信号处理和表演真实感——重点关注声音克隆和音色转换,以转换人声表演,同时保留原始的乐句和动态。
本文提出了一种方法,使用更大模型的合成语音构建紧凑的固定语音泰语TTS系统,评估其性能,并介绍了一个用于设备端部署的82M参数模型。
本文介绍了Wayu-Paxa-TTS-Edge,一个拥有8200万参数的泰语TTS模型,该模型通过语音克隆教师的合成语音进行训练,在无需参考音频的情况下实现了高精度和韵律,适用于设备端使用。
VoiceStudio是一款开源的本地语音工作室工具,提供语音克隆、配音、转录等多种功能,支持646种语言,是ElevenLabs的替代方案。
介绍本地声音克隆工具VoiceStudio,只需8秒录音即可高度还原声音,完全本地运行保护隐私,支持多种语言和平台。
一个轻量级的TTS实现,通过2000小时数据复现Audio8的训练,在H200上不到10小时训练就达到了0.72的SIM指标。