我如何构建自己的零成本AI助手

Reddit r/artificial 新闻

摘要

作者描述如何利用免费云服务积分和多个语言模型的回退链构建一个零成本的AI个人助手,包括Hermes Agent、Gemma 4、Qwen3等,部署在AWS和Oracle Cloud实例上。该助手集成了Telegram和Discord,并管理Spotify和电子邮件。

过去几周我一直痴迷于一个目标:拥有一个个人自维护的AI助手,成本为零,并且可以通过手机控制。这并不容易。我先是用免费积分在一个AWS EC2实例(50GB存储,t3.micro内存)上进行了最小化设置,然后又创建了一个Oracle Cloud实例(300美元免费积分,但仅限一个月,所以我用它来实验本地模型)。我使用Termius从手机SSH连接到所有设备。一开始我用了OpenClaw。它很酷,但我花在修复上的时间比实际使用的时间还多。我几乎要放弃了,直到我看到一个关于Hermes Agent的视频。实际上,我是在YouTube上搜索如何修复OpenClaw错误时发现Hermes的(感谢NetworkChuck 🙌🏽)。他提到了和我一模一样的沮丧经历,并说Hermes已经稳定运行了一个月。我甚至没看完视频就直接拉了仓库。最棒的是?它有一个“从OpenClaw迁移”的功能。几分钟内我就搞定了。最难的部分是速率限制。如果你使用云模型,尤其是用于代码,很快就会碰壁。我的解决方案?回退链(Fallback Chain)。最初我使用的是openrouter/owl-alpha(隐形模型通常是测试中的旗舰模型,比如big-pickle就是DeepSeek v4),它有100万上下文窗口,并出现在多个排行榜上。后来我转向Hermes后,想要更多自定义,虽然owl-alpha在任务上表现不错,但在角色扮演方面没什么可说的,它只是浅浅地触及了我在SOUL md文件中设定的角色。在Oracle实例上,我一直在实验本地模型(记住,如果使用本地模型,你会牺牲速度但获得隐私。当然,因为虚拟机没有GPU,响应会更慢,简单回复需要大约3-5分钟)。给我印象最深的是Google的Gemma-4-31b-it。它完美地扮演了角色。但是,如果你了解Google,你就知道他们激进的速率限制。所以我设置了助手在多个提供商之间轮换。我从Gemma 4开始,通过openrouter获得完美的个性和角色扮演(在BYOK中添加AI Studio API密钥以延长使用时间)。如果达到限制,我还通过ollama cloud设置了相同的模型,并直接使用Google OAuth(基本上就是Gemma 4三次,哈哈)。如果这些都达到限制,它会跳转到Qwen3-coder-next(阿里巴巴,每个模型100万免费令牌,大约有80个),然后是Nova(AWS Bedrock)、DeepSeek v4(Azure和Opencode Zen),以及Claude Haiku(GitHub)。如果一切失败,我还有Owl Alpha,它简直是猛兽,我用了将近7000万令牌才遇到一次速率限制,而且只持续了几个小时。它存在于我的Telegram和Discord中。它管理我的Spotify,处理我的电子邮件,当我需要真正的研究时,我会让它生成三个独立的代理并行工作。已经8天了,它一次都没有崩溃。如果你正在寻找不花大钱就能获得AI的方法,我强烈推荐你研究一下这个 🫪
查看原文

相似文章