在Claude Code中使用本地LLM作为代理

Reddit r/LocalLLaMA 工具
local-llm mcp-setup claude-code coding-agent qwen-model open-source llama-cpp

摘要

本文介绍了一种自定义的MCP设置，允许在同一会话中使用如llama.cpp等工具，将编码任务从Anthropic的Claude模型卸载到本地的Qwen3.8-27B模型。

我每天在最高订阅中会三次达到令牌限制——对此感到厌倦，因此设计了这个MCP设置，将部分编码负载转移到我的本地Qwen3.8-27B模型。我已经对它进行了一段时间的迭代，现在想分享出来。这允许你使用Anthropic的模型（如Opus等）作为主模型，并在同一会话和上下文中将明确指定的工作转移到本地模型。类似于你现在在项目中使用子代理的方式。https://github.com/ccebelenski/localagents 此处无保证或支持——你需要相当大的上下文大小和缓存内存才能使其良好运行，而且我几乎没有测试过vllm路径（llama.cpp似乎很稳定）。–metrics 和 –slots 几乎是必需的参数（可能不需要也能工作？）让Claude帮助你设置MCP本身。然后只需使用“使用本地代理进行...”作为提示。参考我的qwen38-27B启动命令如下：llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL --host 0.0.0.0 --port 8080 --jinja \ --batch-size 8192 -fa on --main-gpu 1 --split-mode none \ --spec-type draft-mtp,ngram-mod --spec-draft-n-max 2 \ --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --no-context-shift \ --presence-penalty 0.0 --spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 24 --spec-ngram-mod-n-max 86 \ --reasoning on --reasoning-preserve --cache-type-k q8_0 --cache-type-v q8_0 --fit on \ --cache-ram 16384 --parallel 2 --metrics --slots \ --chat-template-kwargs "{\"reasoning_effort\":\"medium\"}"
查看原文

相似文章

我们在家也有子代理

Reddit r/LocalLLaMA

一位开发者分享了一个针对 pi coding agent 的子代理仓库的分支，该仓库可在单个本地 LLM 插槽和有限显存下运行，使用 llama.cpp 服务器和量化模型。该帖子还讨论了使用带有 MTP 的 Apex Qwen 变体时的性能。