标签
本文提出了一种基于嵌入的子集选择方法,利用 Whisper 的预训练编码器和贪心 k 中心算法,选取多样化的训练子集,用于自动语音识别(ASR)微调。在希伯来语和丹麦语上的评估表明,k 中心选择优于随机采样,尤其是在子集规模较小时,这得益于其更高的词汇多样性。
Maxwell 是一种新模型,能在运行时动态重写 Whisper 和 LTX-2 等 AI 程序的二进制文件以加速其运行,并使用形式化验证来确认优化后的版本保持了正确性。
walkai-talkai 让你通过手持对讲机的 PTT 按键免手与 AI 编码代理对话,语音在 Mac 本地用 Whisper 转写后输入到 Cursor、Claude Code 等工具,再以神经语音通过无线电回放,音频不离开本机。
SpeechFast 是一款 Mac 本地语音转文字工具,按住 fn 键即可在任意应用中输入,所有音频与文本均在本地处理、完全离线,并支持 Apple Intelligence 清理口头语及自定义词表。
作者发布了 VoxEntity-EU 基准,测试 ASR 系统在德语和法语中对口述电话号码等实体的逐字符精确捕获能力:Whisper large-v3-turbo 的精确匹配率仅为 34.2%,而将相同的正确文本输入提取器后,精确匹配率可达 90.8%,表明瓶颈在 ASR 而非提取环节;该结果作为阴性结果公开发布,并附带可复现代码与结果试听。
一位开发者开源了本地运行的影视配音工具 dub-anything,利用 OmniVoice、IndexTTS、Chatterbox 和 Whisper 克隆并保留每位演员的原声进行多语言配音,让此前未被翻译的内容变得可看。
Rushilo 是一款适用于 Mac 和 Windows 的视频编辑器,可通过 Claude Code 或 Codex 使用自然语言执行编辑操作(剪切、分割、添加字幕、去除填充词等)。所有改动都会显示在支持撤销操作的时间轴上,并且支持屏幕录制和直接上传至 YouTube。
Show HN:BetterWispr 是一款免费、开源的 macOS 本地语音听写应用,支持在任意应用中按住快捷键说话,内置 Whisper、Parakeet 等九个本地模型,语音数据不离本机,并提供应用级语气风格和会议笔记功能。
Voxlocal 是一个用 Rust 编写的极简、完全本地运行的 macOS 语音代理 CLI 工具,使用 Whisper 和 Piper 等微模型实现低延迟的对话流水线,旨在让语音代理的每个环节都易于检查和理解。
本研究首次探索从韵律模式反向预测文本:通过仅使用最低 12 个 Mel 频带(约 450Hz 截止的低通滤波)微调 Whisper 模型,实现了 36% 的词错误率,表明低频语音特征与词汇内容的关联远强于此前认知。
语音事件检测器:一个拥有 580 万参数的卷积-Transformer 模型,可输出 54 类语音/背景事件带时间戳的概率,并通过后处理将其合并到 Whisper 转录文本中。该模型使用七个统一整合的公共数据集进行训练,并采用合成数据增强,在 CPU 上的运行速度达到实时速度的 39 倍。
Earnote 是一款可在 iPhone、iPad 和 Mac 本地运行的讲座与会议笔记应用,使用 Whisper 转录语音并自动生成结构化笔记、任务、闪卡和 PDF 学习表。应用免费开源(MIT),无需账户或订阅,支持一次性 Pro 购买。
Itgan 团队介绍了一套统一的 Whisper+LoRA 方案,适配于 NADI 2026 阿拉伯语 ASR 的三个子任务。结果表明,针对不同子任务,方言专属模型、基座模型选择以及免训练的权重平均各有主导优势,而非任何单一的创新组件起决定性作用。
NihonSub 是一个开源的实时日语动漫字幕与翻译引擎,它将运行在 Groq 上的 Whisper-Large-v3 与 DeepSeek/LLaMA-3 相结合,用于生成上下文感知的双语字幕,并具备基于 VAD 的音频分段、保留敬语的 LLM 翻译,以及同步双字幕影院播放器等特性。
SCM(Screen Memories)是一款本地优先的 macOS 应用,为任意文件夹中的每张照片和每个视频帧提供 AI 驱动的搜索,支持场景级视频搜索、OCR、基于 Whisper 的对白搜索以及可选的本地 LLM 对话——全部在设备上离线运行。该应用开源,可通过 Homebrew 安装,使用 Bun、Electron 和视觉模型(默认 CLIP)构建。
Oído 是 Lokutor 推出的开源语音识别系统,可在 5 美元的 ESP32-S3 微控制器上运行 NVIDIA 的 Conformer-CTC Small(1300 万参数、int8),在 LibriSpeech 和嘈杂环境基准测试中均超越 Whisper tiny.en,且无需 GPU 或 NPU。
论文介绍了 BanglaTurn,这是一个用于 Bangla 语音回合结束检测的基准语料库和基于 Whisper 的模型,实现了 84.33% 的准确率,而基线为 69.28%。
本文介绍了一种剪枝Whisper ASR模型编码器层的方法,将编码器大小减少18.5%,并通过无标签数据蒸馏恢复性能,同时发布了代码和预训练模型供采用。
本文系统地评估了在Whisper模型系列上用于多语言语音识别的令牌合并技术,展示了在低资源语言和微调模型中,计算效率得到提升而准确性损失最小。
本文介绍了首个针对希腊歌曲自动歌词转录的基准,表明通过多任务学习和两阶段训练适配Whisper,达到了27.2%的词错误率,显著优于零样本基线。