@GitHub_Daily: 下载的日语视频没字幕,到处找字幕文件又老对不上时间轴,看视频心情都不好。 于是找到 WhisperSubTranslate 这个开源桌面应用,拖进视频就能生成 SRT 字幕,还能顺手翻译成中文。 语音识别用的是 OpenAI 开源的 Wh…
摘要
WhisperSubTranslate 是一个开源桌面应用,利用 OpenAI 的 Whisper 和腾讯的 Hy-MT2 模型实现本地视频字幕生成与翻译,无需联网或注册。
查看缓存全文
缓存时间: 2026/07/05 16:36
Blue-B/WhisperSubTranslate
来源:https://github.com/Blue-B/WhisperSubTranslate
WhisperSubTranslate
English | 한국어 | 日本語 | 中文 | Polski
将任何视频转换为多语言字幕,全程本地运行。拖入视频,用 whisper.cpp 生成 SRT 字幕,然后通过内置的 Hy-MT2 模型离线翻译,或使用免费/付费的在线引擎进行翻译。
本应用从视频音频中创建新字幕(语音转文字)。它不会提取已有的嵌入字幕轨道,也不会读取屏幕上的文字(无 OCR)。
预览
功能
- 100% 本地语音转文字。您的视频不会离开您的电脑,无需账户,无需上传。
- 使用内置 Hy-MT2 模型进行离线翻译,或使用您自己的密钥连接在线引擎(MyMemory、DeepL、OpenAI、Gemini)。
- 自动下载模型。无需 Python,无需手动配置。
- 同步修复模型(large-v2 Sync 和 Sync Lite),用于解决普通模型在视频中不同步的问题。
- 任务队列、实时进度、仅本地的历史记录。
开始使用
用户
从 Releases(https://github.com/Blue-B/WhisperSubTranslate/releases)下载最新的便携版压缩包,解压后运行 WhisperSubTranslate.exe。
处理过程完全在您的 PC 上离线运行。翻译是可选的。
开发者
npm install
npm start
- Node.js >= 20.19 或 >= 22.12(Electron 42 工具链)
npm install期间会下载 whisper.cpp(Windows 下为 CUDA 版本,约 700MB)- FFmpeg 通过 npm 包含;所选 GGML 模型在首次使用时下载
Linux
sudo apt install cmake build-essential git ffmpeg # Ubuntu/Debian
npm install # whisper.cpp 从源码构建
npm start
如需 CUDA 加速,请在 npm install 之前安装 NVIDIA CUDA 工具包。手动构建 whisper.cpp 的步骤见 CONTRIBUTING.md。
构建(Windows)
npm run build-win # 产物输出到 dist2/
翻译引擎
使用内置的腾讯 Hy-MT2 模型完全离线翻译字幕,或使用您自己的 API 密钥切换到免费/付费的在线引擎。
| 引擎 | 离线 | API 密钥 | 费用 | 备注 |
|---|---|---|---|---|
| Hy-MT2 1.8B(本地,默认) | 是 | 否 | 免费 | ~1.13GB,显存 2GB / 内存 4GB,设备端运行 |
| Hy-MT2 7B(本地) | 是 | 否 | 免费 | ~6.16GB,显存 8GB / 内存 12GB,更大模型 |
| MyMemory | 否 | 否 | 免费 | 每个 IP 约 5 万字符/天 |
| DeepL | 否 | 是 | 免费 50 万字符/月 | 确定性输出 |
| OpenAI GPT-5.4 mini | 否 | 是 | 付费 | 上下文感知 |
| OpenAI GPT-5.4 nano | 否 | 是 | 付费 | 更便宜的层级 |
| Gemini 3 Flash | 否 | 是 | 免费/低费用 | 推荐的低成本路线(获取密钥 https://aistudio.google.com/app/apikey) |
本地 Hy-MT2 引擎是唯一无需 API 密钥、无需网络、无需按次付费的选项,因此您的对话永远不会离开您的电脑。
翻译质量(离线引擎)
WhisperSubTranslate 集成了腾讯的 Hy-MT2 模型(默认 1.8B,可选 7B)。腾讯官方评估显示,Hy-MT2 系列与领先的商业翻译 API 竞争,并在某些基准测试中领先于其中几项。
Hy-MT2 翻译基准测试,腾讯官方数据,集成于 WhisperSubTranslate
来源:腾讯 Hy-MT2 官方基准测试(https://github.com/Tencent-Hunyuan/Hy-MT2)、技术报告(https://arxiv.org/pdf/2605.22064)、HuggingFace 模型(https://huggingface.co/tencent/Hy-MT2-1.8B)。图表根据腾讯官方图 1 重绘,捆绑模型(1.8B/7B)的数字已对照论文表格验证。
这些数据衡量的是底层模型在标准机器翻译基准测试(WildMTBench、WMT25、FLORES-200 等)上的表现,并非 WhisperSubTranslate 特有的基准测试。
对于长视频(1 小时以上),MyMemory 的每日限额可能导致速度变慢。请改用 Gemini、DeepL 或配置好的 GPT 模型。
语音识别模型
模型按需下载到 _models/ 目录。如果可用则使用 CUDA,否则默认使用 CPU。请根据您的 GPU 选择合适的大小。
| 模型 | 大小 | 显存 | 速度 | 备注 |
|---|---|---|---|---|
| tiny | ~75MB | ~1GB | 最快 | 基础 |
| base | ~142MB | ~1GB | 快 | 良好 |
| small | ~466MB | ~1GB | 中等 | 更好 |
| medium | ~1.5GB | ~2GB | 中等 | 很棒 |
| large-v3 | ~3GB | ~4GB | 慢 | 最佳转录 |
| large-v3-turbo(默认) | ~809MB | ~2GB | 快 | 最佳全能 |
| large-v2 Sync | ~4.4GB | ~4.5GB | 慢 | 独立引擎;修复字幕同步 |
| large-v2 Sync Lite | 共享 | ~3GB | 慢 | 与 Sync 相同文件,int8,更低显存 |
Sync 和 Sync Lite 使用独立的 Faster-Whisper 引擎(自动下载一次,约 4.4GB),并共享同一个模型文件,因此一次下载即可覆盖两者。仅当普通模型出现同步偏差时使用它们;它们对非英语视频(日语、韩语、中文)最为准确。英语通常使用 large-v3-turbo 即可。
whisper.cpp 模型的显存数据基于 GGML 优化,远低于 PyTorch Whisper(large 模型约 10GB)。Sync 的数据来自 Faster-Whisper 基准测试。
语言支持
- UI:韩语、英语、日语、中文、波兰语
- 翻译目标(14 种):ko, en, ja, zh, es, fr, de, it, pt, ru, hu, ar, pl, fa
- 音频识别:通过 whisper.cpp 支持 100 多种语言
数据存储
所有数据都保存在您的用户数据文件夹本地。不上传任何内容。
| 数据 | 位置 |
|---|---|
| 设置和 API 密钥 | %APPDATA%\whispersubtranslate\translation-config-safe.json |
| 任务历史 | %APPDATA%\whispersubtranslate\history.json(最多 200 条) |
| 错误日志 | %APPDATA%\whispersubtranslate\logs\errors.log |
| 模型 | _models/(应用文件夹内) |
API 密钥使用操作系统级别的安全存储本地保存,配置不会被提交或打包。任务历史是可选的(在设置中切换),上限为 200 条。
贡献
欢迎提交拉取请求。请参阅 CONTRIBUTING.md 了解分支命名、提交风格、手动测试清单以及手动构建 whisper.cpp 的方法。
要添加语言,请参阅 翻译指南。
在 Weblate(https://hosted.weblate.org/engage/whispersubtranslate/)上帮助翻译;可翻译字符串位于 locales/*.json。
贡献者
感谢所有帮助 WhisperSubTranslate 变得更好的人。
支持
如果这个项目为您节省了时间,直接支持它有助于修复错误、提高模型可靠性以及增加新的翻译选项。
GitHub Sponsors(https://github.com/sponsors/Blue-B)
Buy Me A Coffee(https://buymeacoffee.com/beckycode7h)
PayPal(https://www.paypal.com/ncp/payment/ZEWFKDX595ESJ)
致谢
- whisper.cpp 由 Georgi Gerganov 开发:ggml-org/whisper.cpp(https://github.com/ggml-org/whisper.cpp)
- Hy-MT2 由腾讯开发:Tencent-Hunyuan/Hy-MT2(https://github.com/Tencent-Hunyuan/Hy-MT2)
- FFmpeg:ffmpeg.org(https://ffmpeg.org/)
许可证
GPL-3.0。外部 API 和服务(DeepL、OpenAI、Gemini 等)需遵守其各自条款。
相似文章
@mogician301: https://x.com/mogician301/status/2072250774332285073
介绍了一个名为 audio-to-text 的开源工具,它利用 AI 和本地工具(如 faster-whisper 和 ffmpeg)帮助用户自动生成、校对和烧录字幕,解决剪映等软件成本高、错误多、流程繁琐的问题。
@yhslgg: 老杨再特么分享一个宝藏开源工具——KrillinAI,GitHub 10000 星,做多语言音视频内容的绝对值得看! 一句话:从视频下载到字幕翻译、AI配音、视频合成,整条链路全包,还能自动生成平台封面,B站、抖音、小红书、YouTube…
KrillinAI 是一款开源工具,整合了视频下载、字幕翻译、AI配音、视频合成全流程,支持上下文感知翻译、语音克隆、自动布局和封面生成,兼容多种AI模型,适合多语言音视频内容创作与分发。
@yhslgg: 兄弟们,再分享一个开源视频翻译工具——pyVideoTrans,GitHub 17700 星,做视频搬运和本地化的必备! 一句话:一个视频丢进去,自动走完语音识别→字幕翻译→AI配音→视频合成整条流水线,出来就是另一种语言的完整视频。 核…
pyVideoTrans 是一个开源视频翻译工具,支持自动语音识别、字幕翻译、AI 配音和视频合成,集成了多种 ASR、翻译和 TTS 引擎,适合跨语言视频制作和本地化。
@XAMTO_AI: 这个开源工具要是现在不收藏,将来肯定得后悔——视频自动配音翻译,一口气支持 33 种语言,还能直接对视频内容提问。 在 GitHub 上发现一个宝藏工具,叫 Violin,完全开源,做的事情说出来有点离谱:你把视频丢进去,它自动识别语音、…
Violin 是一个开源的视频自动配音翻译工具,支持33种语言,集成Whisper、DeepSeek等模型,提供一键式语音识别、翻译、配音合成及视频内问答功能。
@Honcia13: 强烈推荐一款开源的语音转字幕神器! 速度飞快,质量极高! 支持中文、日语、韩语、英语等多语言,还特别优化了排版规则, 字幕效果自然又专业。 这是一款基于 PySide6 + ElevenLabs API 的桌面工具, 能把音视频文件或JS…
推荐基于PySide6和ElevenLabs API的开源语音转字幕工具Scribe2SRT,支持多语言并优化排版,快速生成高质量SRT字幕。