大多数人的最佳现实本地AI
摘要
一份在消费级GPU上运行本地AI的实用指南:将大型云端模型作为架构师,与较小的本地模型作为子代理配对,使用OpenRouter和Hermes等工具。
所以,你有一张3090甚至5090?或者更可能是4060 8GB Ti。你想试试本地AI,但不知道它能做什么/不能做什么。
1) 安装你能安装的最好的模型。如果你有3090或5090,那就是Qwen 27b。如果是4060,那就是Qwen 35b-3a。搜索这个论坛,35b-3a在8GB显卡上可以跑得飞起。
2) 注册一个OpenRouter账户。这是帮助你运行本地AI的“大脑”。
3) 下载Hermes agent harness(代理框架),设置一个连接到OpenRouter上Qwen-3.7或kimi-K3或GLM-5.2的架构师配置文件。
4) 为coder、worker和browser-reviewer设置Hermes配置文件,连接到你的本地模型,无论是Qwen-27b还是qwen-35b-3a。
5) 为架构师配置文件(连接到OpenRouter上的一个好模型)设置你的SOUL.md,使其非常清楚自己的角色是规划(这是本地代理无法触及大模型的地方),并使用Hermes的delegate_task工具启动子代理。它是架构师和委托者。告诉它派出子代理扫描代码库。告诉它使用子代理制定分阶段实施计划。告诉它不要写代码,而是使用子代理程序员。
6) 启动下一个Hermes会话:Hermes -p architect(如果使用CLI)。执行一些提示,观察它向你的本地AI发送子任务。
6) 获利。
相似文章
你是否认真尝试过本地AI?
作者认为本地AI因可用性障碍而被低估,并介绍了他们的项目Euler,旨在让本地AI像云AI一样无缝,同时具备隐私和所有权优势。
本地模型是否比预期更快变得“足够好”?
这篇文章讨论了本地AI模型在日常任务中日益增长的可行性,暗示了向混合架构的转变,这种架构优化成本和延迟,而不是仅仅依赖前沿的云模型。
@TheAhmadOsman: 温馨提醒,开始使用本地AI所需的一切就是: - 2x RTX 3090(在r/hardwareswap上花$700-$900入手) -…
提醒一下,两块RTX 3090加上Qwen 3.6 27B或Gemma 4 31B等开源模型,就可以运行强大的本地AI代理,性能堪比Opus 4.5,配合Claude Code、自托管SearXNG等工具使用。
这是一个好的“预算”本地AI设置吗?
关于预算友好的本地AI设置的质量和可行性的讨论。
从零搭建本地AI编程代理
一份逐步指南,介绍如何构建一个完全本地运行的最小化AI编码代理,使用llama.cpp、GGUF模型和自定义工具框架,演示如何设置工具并调用模型执行实际任务,例如创建着陆页。