使小型本地模型在编码任务中真正实用

嘿！和这里的许多人一样，我使用消费级 GPU（在我的案例中是 RTX 4060 8GB），我想看看是否可以用本地模型来处理日常编码任务，而不是在简单的样板代码上浪费云积分。在 8GB VRAM 上运行编码代理（例如 Hermes）的问题是：上下文膨胀：一旦你输入相当大的代码库，生成速度就会急剧下降，KV 缓存会占用大量内存。模式失败：小型模型（2B 到 7B）通常在多轮工具调用和语法模式上遇到困难。当传统代理框架给它们通用的错误字符串时，它们会恐慌并循环直到达到轮次限制。我没有试图强迫一个 4B 模型成为整个项目的架构师，而是构建了一个名为 Local Coding Agent 的混合设置。它是这样工作的：它作为一个 MCP 服务器，你的主要 IDE/代理（Codex、Claude、Cursor 等）通过 delegate_code 工具连接到它。云模型进行高级规划并隔离小而原子的任务。然后它将微补丁交给本地 Ollama 模型（如 Gemma 4 2B/4B 或 Qwen3.8-27B）。由于本地模型只接收隔离的任务上下文，它以全速运行（在 RTX 4060 上 60-85+ tok/s），没有上下文膨胀问题。为了解决 2B/4B 模型上的模式恐慌问题，我添加了一个确定性的基于规则的处方引擎：当本地模型搞错 JSON 格式或字段时，它会收到精确、结构化的错误纠正，而不是浪费云令牌进行重试。它还使用 git apply 检查差异，并在隔离的沙箱中运行测试，如果任何东西破坏，会自动回滚。这最初只是我个人设置的个人工具，我每天都在编码会话中使用它。我决定开源它，以便其他拥有 8GB 卡的人可以从本地小型模型中获得一些真正的实用价值。GitHub: https://github.com/pvnc228/local-coding-agent 所有安装步骤和配置细节都在 README 中记录。如果你检查一下，我很好奇听到什么本地模型配置对你最有效。