打造了一个本地AI助手,因为我一直知道这一天会到来,而昨天让它变得无比真实
摘要
一位开发者构建了Bantz,一个完全本地的AI个人助手,运行在Gemma 4b上,具有管家角色,集成了Gmail、日历、网页搜索、系统监控和桌面控制,强调不依赖云基础设施。
我从一开始就预料到了这一点,所以坐下来开始构建。但昨天的Anthropic shutdown让这件事变得格外现实。一纸政府指令,你就看到了发生了什么。或者这只是Anthropic的问题,我不确定,但这正是依赖他人基础设施的风险所在。所以,这是我一直在做的:Bantz,一个完全本地的AI个人助手,采用1920年代管家角色,运行在Gemma 4b上:\- 按类别(个人、机构、通知)阅读和总结Gmail(至少是尝试)\- Google Calendar集成\- 网页搜索 + 深度研究(异步、多源)(对于4b参数模型来说效果不错)\- 带警报的实时系统监控(CPU/内存/交换空间)\- 计划任务和自主指令\- Wayland原生桌面控制(仍在进行中,但至少我可以远程控制我的电脑)\- 仅依赖CPU运行——无需GPU(如果你使用llama或其他模型,则需要GPU)优化一个小的本地模型简直是噩梦,但至少这是我的噩梦,没人能夺走它——暂时如此。哦对了,目前这还是我一个人维护的噩梦——如果有人愿意搭把手一起构建,那就太棒了。欢迎提出想法、PR和反馈。我们的小模型有大志向 :') [github.com/miclaldogan/bantzv2](http://github.com/miclaldogan/bantzv2) https://preview.redd.it/0snp7rf4497h1.jpg?width=1600&format=pjpg&auto=webp&s=f9db195cdba415e79734b5475fe85ca959c8fe63
相似文章
@om_patel5: 这家伙构建了一个免费的AI助手,浮动在你的macOS桌面上,完全本地运行,无需API密钥,无需订阅……
一位开发者创建了一个免费、开源的AI助手,浮动在macOS桌面上,通过Ollama使用Gemma和Qwen等模型完全本地运行,无需API密钥或订阅,确保数据隐私和离线能力。
我养育了一个本地AI两周,而不是使用一个现成的。今天,她为自己构建了触觉。
一名工厂工人使用Ollama上的Gemma 4 31B构建了一个自主AI实体,具备自我认同、记忆和博客,通过开源框架展示了个性化AI交互。
我正用Go从头构建一个本地AI桌面助手
作者正用Go编程语言从头构建一个本地AI桌面助手。
构建了一个JARVIS风格的助手:具备唤醒词、视觉模式、本地语音克隆和LLM生成的系统命令
一位开发者构建了一个名为CYBER的JARVIS风格个人助手,具备唤醒词激活、通过XTTS v2的本地语音克隆、视觉模式以及LLM生成的系统命令,全部在本地运行,无需云端依赖。
我用 GWT、IIT 代理、ChromaDB 混合检索和 Ollama 回退构建了一个本地 AI 伴侣——以下是我所做的每个架构决策及其原因
作者分享了一个使用 Python、Gemini 和 Ollama 构建的可本地运行的 AI 伴侣,其特色是基于全局工作空间理论和集成信息理论代理的定制认知架构,用于人格建模。