观点:AI唇同步也许最终能终结字幕与配音之争

Reddit r/ArtificialInteligence 工具

摘要

像sync.so这样的AI唇同步工具可以重新绘制嘴部动作以匹配配音音频,可能化解长期以来关于配音因嘴部动作不匹配而破坏沉浸感的争论。

字幕与配音的争论中一直有一个无人争议的机械性问题:配音与嘴型不匹配。即使是巅峰时期的Funimation也只能接近,因为动画师本是根据日语音素绘制嘴型。配音演员再努力也无法改变这一点。AI唇同步工具逐帧重新绘制嘴部动作以匹配配音音频。[sync.so](http://sync.so) 在真实视频上展示了效果,看起来惊人地自然。上周我亲自试了一个片段,虽然成本极高,但应用到动漫场景中,嘴型确实与英语匹配。这并不能解决糟糕的配音导演或粗糙的本地化脚本问题——这些仍然是配音的短板。但它消除了字幕党最有力的论据:那种'配音因嘴型不匹配而破坏沉浸感'的说法不再成立。
查看原文

相似文章

ElevenLabs Dubbing v2

Reddit r/singularity

ElevenLabs 发布了 Dubbing v2,这是一款 AI 配音模型,通过直接基于原始音频进行条件处理,能够在 90 多种语言中保留原始说话者的情感、语调和表演,提供广播级品质的配音,而成本仅为传统方式的一小部分。

Descript 如何大规模实现多语言视频配音

OpenAI Blog

Descript 重新设计了其翻译管道,使用 OpenAI 推理模型来优化大规模多语言视频配音,通过解决语音时长与视频时间限制匹配的挑战,实现了翻译视频导出量增加 15%,以及各语言时长符合度提升 13-43%。

Voiser AI

Product Hunt

Voiser AI 提供超过140种语言的人性化AI配音。

Vaani

Product Hunt

Vaani 是一个为创作者、品牌和工作室提供唇形同步AI配音的工具。