打造了一个本地AI助手,因为我一直知道这一天会到来,而昨天让它变得无比真实

Reddit r/LocalLLaMA 工具

摘要

一位开发者构建了Bantz,一个完全本地的AI个人助手,运行在Gemma 4b上,具有管家角色,集成了Gmail、日历、网页搜索、系统监控和桌面控制,强调不依赖云基础设施。

我从一开始就预料到了这一点,所以坐下来开始构建。但昨天的Anthropic shutdown让这件事变得格外现实。一纸政府指令,你就看到了发生了什么。或者这只是Anthropic的问题,我不确定,但这正是依赖他人基础设施的风险所在。所以,这是我一直在做的:Bantz,一个完全本地的AI个人助手,采用1920年代管家角色,运行在Gemma 4b上:\- 按类别(个人、机构、通知)阅读和总结Gmail(至少是尝试)\- Google Calendar集成\- 网页搜索 + 深度研究(异步、多源)(对于4b参数模型来说效果不错)\- 带警报的实时系统监控(CPU/内存/交换空间)\- 计划任务和自主指令\- Wayland原生桌面控制(仍在进行中,但至少我可以远程控制我的电脑)\- 仅依赖CPU运行——无需GPU(如果你使用llama或其他模型,则需要GPU)优化一个小的本地模型简直是噩梦,但至少这是我的噩梦,没人能夺走它——暂时如此。哦对了,目前这还是我一个人维护的噩梦——如果有人愿意搭把手一起构建,那就太棒了。欢迎提出想法、PR和反馈。我们的小模型有大志向 :') [github.com/miclaldogan/bantzv2](http://github.com/miclaldogan/bantzv2) https://preview.redd.it/0snp7rf4497h1.jpg?width=1600&format=pjpg&auto=webp&s=f9db195cdba415e79734b5475fe85ca959c8fe63
查看原文

相似文章