@SergioPaniego: 一条命令即可在HF基础设施上搭建私有vLLM服务器，将代码代理直接指向你自己的模型，然后关闭…
摘要
一条命令即可在Hugging Face基础设施上设置私有vLLM服务器，使代码代理指向你自己的模型，并在完成后关闭它。
查看缓存全文
缓存时间: 2026/06/29 16:42
一条命令，你就在HF基础设施上拥有了一个私有的vllm服务器
将一个编码代理直接指向你自己的模型，完成后关闭它
下方博客（作者 @QGallouedec）⤵️ https://t.co/F9i10NSOSG
相似文章
用一条命令在 HF Jobs 上运行 vLLM 服务器
Hugging Face Jobs 现在允许你使用 vLLM 通过一条命令快速启动一个私有的、兼容 OpenAI 的 LLM 端点，无需配置服务器或 Kubernetes。
在Claude Code中使用本地LLM作为代理
本文介绍了一种自定义的MCP设置，允许在同一会话中使用如llama.cpp等工具，将编码任务从Anthropic的Claude模型卸载到本地的Qwen3.8-27B模型。
我们在家也有子代理
一位开发者分享了一个针对 pi coding agent 的子代理仓库的分支，该仓库可在单个本地 LLM 插槽和有限显存下运行，使用 llama.cpp 服务器和量化模型。该帖子还讨论了使用带有 MTP 的 Apex Qwen 变体时的性能。
@TheAhmadOsman：你可以在家运行本地模型，并使用任何代理框架，如 Codex 或 Claude Code
Ahmad 构建了一个简单的工具，使 Claude Code 能与任何本地 LLM 配合使用，演示时使用了 vLLM 在 4 块 RTX 3090 上服务 GLM-4.5 Air。
@mervenoyann：如果你还没有用 https://llama.app 在本地跑模型，那我们就没什么好说的了
llama.cpp 团队和 Hugging Face 推出了 Llama（llama.app）——一款面向 Mac 和 Windows 的小型开源菜单栏/系统托盘应用，可在本地运行开源模型，并在 localhost:9931/v1 上提供兼容 OpenAI 的 API。