在 iPhone 上完全离线运行 Whisper、Qwen3-ASR、Nemotron 和 MOSS [P]

在过去的这个月里，我一直在开发 LiveTranscriber——一款开源 iOS 应用，用于在设备端完全运行现代语音和语言模型。目标是看看最近的开源模型能否转化为实用的移动产品，而不仅仅是技术演示。目前支持的本地模型包括： - Whisper：离线转写 - Qwen3-ASR：多语言语音识别 - NVIDIA Nemotron Streaming：低延迟实时转写 - MOSS Multi-Speaker：说话人感知转写 - Qwen3：本地摘要、要点、标题和转写文本分析 功能包括： - 100% 离线语音识别 - 离线多说话人转写 - 设备端摘要和要点提取 - 实时翻译 - Apple Watch 录制并自动同步 - 可下载和切换的本地模型 - 可搜索的转写历史 主要的工程挑战不仅是运行模型，还要让它们在 iPhone 上真正可用：内存管理、流式延迟、模型加载、上下文处理、电池消耗，以及在不同推理后端之间切换。 该项目完全开源： GitHub: https://github.com/iamwilliamli/LiveTranscriber App Store: https://apps.apple.com/us/app/live-transcriber-recorder/id6785515364 欢迎任何从事 ASR、本地 LLM、端侧 AI、Core ML 或移动端推理的开发者提供反馈。