Harbor v0.4.19 — 使用 vllm/sglang/llama.cpp 启动 codex/claude/pi/opencode
摘要
Harbor v0.4.19 新增了通过本地推理后端启动本地智能编码工具的功能，集成了 vllm、sglang 和 llama.cpp，并内置了用于工具注入（如网络搜索）的 LLM 网关。
我通常出于对社区成员的尊重，不会发布关于 Harbor 版本更新的消息，但我认为 v0.4.19 可能会为大家节省不少时间。Harbor 现在可以通过本地推理后端启动您的本地智能编码工具。例如，运行 pi + vllm：
# 下载并配置模型
harbor up vllm
# Harbor 知道 vllm 正在运行，并将使用它
harbor launch pi
此外，`launch` 可以通过内置的优化型 LLM 网关代理请求，该网关会自动注入并解析工具（例如网络搜索），因此您只需在命令后附加 `--web` 即可为代理添加网络搜索功能，Harbor 将预先配置好一切：
harbor launch --web --model qwen3.5:4b --backend ik_llamacpp mi -p '查找智能工具的最新发布版本，并撰写两句话的概述'
您可以在以下维基页面中找到更多详细信息：
[https://github.com/av/harbor/wiki/3.-Harbor-CLI-Reference#harbor-launch-launch-options---service-servicetool-args](https://github.com/av/harbor/wiki/3.-Harbor-CLI-Reference#harbor-launch-launch-options---service-servicetool-args)
感谢！
相似文章
Harbor
Harbor是一个CLI和配套工具，用于快速搭建完整的本地LLM堆栈。
@0xSero：关于 LLM 推理与部署，看这一篇就够了。你听说过：- vLLM - SGLang - llama.cpp - …
vLLM、SGLang、llama.cpp 与 ExLlamaV3 等主流开源推理引擎概览，助你轻松托管并运行大模型。
ggml-org/llama.cpp
llama.cpp 是一个开源 C/C++ 库，用于在本地硬件上高效运行 LLM 推理，支持多种量化方法和多后端（CPU、GPU 等）。
llama : 网站 + 统一的 `llama` 二进制文件 · ggml-org/llama.cpp · 讨论 #23875
Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件，以简化 LLM 推理，同时还包括 Hugging Face 缓存迁移和多模态支持等更新。
我制作了一个UI和服务器，用于在本地使用llama.cpp运行Anthropic的新自然语言自编码器
作者构建了一个自定义的llama.cpp服务器和Mikupad UI，以便在本地运行Anthropic的开源自然语言自编码器并实现激活引导。目前正在开发LoRA版本以降低内存需求。