观点：AI唇同步也许最终能终结字幕与配音之争

Reddit r/ArtificialInteligence 工具
ai lip-sync dubbing anime localization media

摘要

像sync.so这样的AI唇同步工具可以重新绘制嘴部动作以匹配配音音频，可能化解长期以来关于配音因嘴部动作不匹配而破坏沉浸感的争论。

字幕与配音的争论中一直有一个无人争议的机械性问题：配音与嘴型不匹配。即使是巅峰时期的Funimation也只能接近，因为动画师本是根据日语音素绘制嘴型。配音演员再努力也无法改变这一点。AI唇同步工具逐帧重新绘制嘴部动作以匹配配音音频。[sync.so](http://sync.so) 在真实视频上展示了效果，看起来惊人地自然。上周我亲自试了一个片段，虽然成本极高，但应用到动漫场景中，嘴型确实与英语匹配。这并不能解决糟糕的配音导演或粗糙的本地化脚本问题——这些仍然是配音的短板。但它消除了字幕党最有力的论据：那种'配音因嘴型不匹配而破坏沉浸感'的说法不再成立。
查看原文

相似文章

AI唇形同步是真正好的视频翻译中缺失的一环吗？

Reddit r/artificial

本文探讨了AI唇形同步技术作为视频翻译的有前景的增强手段，使说话者看起来自然地说出翻译后的语言，评估了SyncSo、Rask和HeyGen等工具，并讨论了其对内容可访问性和商业用途的更广泛影响。

ElevenLabs Dubbing v2

Reddit r/singularity

ElevenLabs 发布了 Dubbing v2，这是一款 AI 配音模型，通过直接基于原始音频进行条件处理，能够在 90 多种语言中保留原始说话者的情感、语调和表演，提供广播级品质的配音，而成本仅为传统方式的一小部分。

Descript 如何大规模实现多语言视频配音

OpenAI Blog

Descript 重新设计了其翻译管道，使用 OpenAI 推理模型来优化大规模多语言视频配音，通过解决语音时长与视频时间限制匹配的挑战，实现了翻译视频导出量增加 15%，以及各语言时长符合度提升 13-43%。