LokalBot - 完全本地化的macOS应用:会议记录、自动补全和日追踪,全部在你的机器上运行,拥有友好的用户界面

Reddit r/LocalLLaMA 工具

摘要

LokalBot是一款完全本地化的macOS应用,在设备上运行AI模型,实现会议转录与总结、在任何应用中自动补全以及日追踪,完全保护隐私,无需依赖云端。

我在这里潜水有一阵子了,这个子版块基本上就是LokalBot存在的原因。它是一款Mac应用,可以录制并总结你的会议、在任何应用中自动补全你的输入、追踪你的时间去向,所有模型均在设备上运行。无需云端、无需账户、无需API密钥。LokalBot的大部分工作流我之前是用多个独立应用(如Granola、Cotypist等)完成的,但现在一个应用就能搞定这一切,且无需额外的第三方推理费用。首先提醒:仅支持Apple Silicon / macOS 15+。它与神经网络引擎、MLX和Core Audio紧密集成,因此不支持Linux/NVIDIA。我使用的是MacBook M4 Max(48GB内存),运行良好但偶尔有峰值,所以如果你只有16-24GB内存,我的默认模型设置可能不会那么无缝,但应用内的模型设置中有一些不错的替代方案。 模型栈:总结、聊天和自动补全运行在捆绑的llama.cpp上——自动补全使用进程内libllama以获得低延迟,其他情况使用llama-server。你可以将它们指向自己的GGUF文件、Ollama或兼容OpenAI的端点,或者Apple Intelligence。转录:通过CoreML/MLX在神经网络引擎上运行Granite Speech 4.1 / Parakeet / Whisper / Qwen3-ASR。Parakeet大约达到190倍实时速度。语义搜索:Qwen3-Embedding 0.6B GGUF在第二个llama-server上运行 (--embeddings),向量存储在SQLite中,暴力余弦搜索。在个人规模下,“暴力”其实就是“瞬间”,而且不增加任何依赖。说话人识别:可选的pyannote(通过FluidAudio)将“他们”拆分为“他们1”和“他们2”。应用内Hugging Face浏览器用于搜索和下载GGUF文件,并提供基于硬件的模型适配建议。 我在实际使用中发现的最佳默认设置(非常欢迎大家指出我的错误): 转录:IBM Granite Speech 4.1 (2B) Q4 总结:Qwen 3.6 35B-A3B Q4_K_M 自动补全:Gemma 4 E4B Q5 XL 隐私是全部意义所在。唯一的网络调用是一次性模型下载;之后完全离线。在会议期间用Little Snitch观察它,你会看到有史以来最平坦的网络图。可选的截图使用AES-GCM加密并自动删除。 GitHub:https://github.com/stevyhacker/lokalbot 官网:https://lokalbot.com 我特别想听听各位对这些模型选择的看法——尤其是更好的本地ASR模型和快速的小型自动补全模型。你们会用什么?
查看原文

相似文章

LocalClicky

Product Hunt

LocalClicky 是一款让你用语音控制 Mac 的工具,所有处理都在本地设备上完成。