为什么我在字幕处理流程中将 ASR 错误、翻译错误和时间轴错误分开处理

我曾是一名专业笔译、字幕翻译和口译工作者，也是 Subtitle Foundry 的开发者。这个项目的一项设计决策，是让转写、翻译和时间轴能够分别接受检查。下面说明为什么即使工作流程使用了最先进（SOTA）的语音和语言工具，这一点仍然重要。流畅的最终译文可能掩盖错误究竟出在哪个环节。举一个假设性的例子：说话者说的是“他没去”，但自动语音识别（ASR）漏掉了否定词。翻译模型可能利用前后对话还原原意，也可能很自信地翻译出错误的陈述。只看最终字幕，无法确定究竟发生了哪种情况。这只是一个说明性例子，并非我在影片测试中测得的结果。由此需要进行三种不同的检查：转写：将识别出的源语言文字与音频进行比对。即使后续阶段改进了显示文本，也要保留原始 ASR 输出，以供查看。翻译：将目标语言表达的含义与源音频／修正后的转写文本及对话语境进行比对。流畅的改写不足以证明对 ASR 结果所做的看似合理的修正确有依据。时间轴与可读性：一边听音频，一边检查字幕条目的起止时间、说话者切换、换行和显示时长。即使文字正确，显示时机不对也仍然会造成糟糕的字幕体验。时间信息的依据也需要标明。我的默认流程使用 ElevenLabs Scribe v2 对完整录音提供的原生词级时间戳。其他受支持的工作流程采用分块处理，并可选择进行语音活动对齐。语音活动只能告诉你哪些时间段有语音，本身并不能定位每个词。把估算的时间信息与服务提供方的词级时间信息视为等同，会增加后续审查的难度。修改目标语言字幕条目时，要保留源语言的依据。该应用为现有字幕提供精确时间模式，也提供一种编辑模式，根据源语言词语和说话者轮次组织目标语言字幕条目。这使译文可以采用不同的句子结构，同时保留用于确定对话应出现在哪个时间位置的依据。两种工作流程最后都要通过视频／波形进行审查，并保存手动修正。在比较最终文件之前，先评估各个阶段。为了进行有意义的比较，我会在不同服务提供方之间使用相同的音频片段、修正后的源语言参考文本和源音频时间偏移量；记录模型及设置；然后分别评估源语言转写、翻译含义和字幕条目时间轴。仅凭汇总的词错误率，无法衡量翻译质量或字幕可读性。中间产物和缓存的服务提供方响应，也让人更容易单独检查某个阶段，而不必花钱重新生成其他所有阶段的结果。到目前为止，我的影片测试主要是使用 ElevenLabs 加 Codex 进行土耳其语到英语，以及乌克兰语到英语的处理。我尚未发布受控的端到端基准测试，因此这里介绍的是实现选择和评估方法，而非性能排名。源代码和工作流程文档：https://github.com/mrtdlgc/subtitle-foundry 我没有从这个采用 AGPL-3.0 许可证的项目中赚钱，并且会继续维护它。项目的目的是帮助缺乏可用字幕的内容触达全球观众。我在开发过程中使用了 Codex，这篇文章也在 Codex 的协助下完成。