我构建了一个开源的实时日语动漫字幕与翻译引擎，由 Whisper-Large-v3 + Groq / DeepSeek 驱动。

Reddit r/LocalLLaMA 工具
open-source speech-to-text translation anime subtitles whisper llm

摘要

NihonSub 是一个开源的实时日语动漫字幕与翻译引擎，它将运行在 Groq 上的 Whisper-Large-v3 与 DeepSeek/LLaMA-3 相结合，用于生成上下文感知的双语字幕，并具备基于 VAD 的音频分段、保留敬语的 LLM 翻译，以及同步双字幕影院播放器等特性。

大家好 r/LocalLLaMA， 和许多动漫爱好者一样，我一直对传统机器翻译引擎（比如 Google Translate 或 DeepL 基础版）处理原始日语动漫的方式感到沮丧：- 它们完全搞砸了日语敬语、句末助词（-tteba、-zo、-desu wa）以及角色方言用语。- 它们在处理主语省略（pro-drop 语法）时很吃力，逐行翻译的代词前后不一致。- 云端转写 API 经常被背景音乐（OST）、巨大的音效和角色的尖叫声搞崩溃。 为了解决这些问题，我开发了 NihonSub —— 一个开源工具和同步影院播放器，能将原始日语视频文件转化为带语境的双语字幕。🛠️ 架构与流水线： - **音频提取与 VAD 切分**：使用 `ffmpeg` 的静音检测功能，沿自然语音停顿动态切分对话片段，不会把词切到一半。 - **语音转文本**：使用运行在 Groq LPU 上的 OpenAI Whisper Large-v3 转写日语音频，转写速度接近即时。 - **语境感知的 LLM 翻译**：将转写文本输入 DeepSeek / LLaMA-3（通过 Groq 或 OpenRouter），配合专门的提示词，确保保留动漫语感、敬语、角色语气，同时输出印地语和英语双语字幕。 - **同步影院 UI**：自定义的 WebVTT 生成器和视频播放器，支持双语字幕、时间轴拖拽以及完整的播放控制。 💡 为什么不直接依赖标准 NMT（神经机器翻译）？ LLM 在根据语境和语气判断"谁在对谁说话"方面远胜于简单的字典查表式直译。借助零成本的免费层 API（Groq + OpenRouter 免费模型），整条流水线无需任何订阅费用即可运行。 请查看上面的演示视频！ - GitHub 仓库：https://github.com/Abhishantpadam/NihonSub - 许可协议：MIT 非常期待大家对这条流水线的想法、针对本地边缘模型的优化建议（比如运行 Whisper.cpp 或本地 Ollama 实例），以及任何反馈！
查看原文

相似文章

mlsubgen — 在你自己的机器上为视频生成 45 种语言的字幕

Reddit r/LocalLLaMA

mlsubgen 是一款开源命令行工具，完全在本地机器上为视频生成 45 种语言的字幕，采用基于 CUDA 的语音识别（Qwen3-ASR、Whisper large-v3）以及由 Ollama 托管的 LLM 翻译，并提供硬件配置方案，最低只需 8 GB 显存的 GPU。