GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF

Hugging Face Models Trending 模型
gguf mini-cpm thinking-model open-source llama-cpp 1b-params

摘要

MiniCPM5-1B-Claude-Opus-Fable5-Thinking 模型的 GGUF 量化版本已在 Hugging Face 上发布，并附有 llama.cpp、vLLM 和 Ollama 的使用说明。

任务：文本生成 Tags: gguf, llama.cpp, 量化, minicpm5, 思考, fable5, 编程, 指令遵循, 文本生成, en, zh, base_model:GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking, base_model:quantized:GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking, license:apache-2.0, endpoints_compatible, region:us, 对话式
查看原文
查看缓存全文

缓存时间: 2026/07/09 13:36

GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF · Hugging Face

来源：https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF

库：llama-cpp-python (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?library=llama-cpp-python)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 llama-cpp-python：

``

!pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained( repo_id=“GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF”, filename=“MiniCPM5-1B-Claude-Opus-Fable5-Thinking-F16.gguf”, ) ``

llm.create_chat_completion( messages = [ { "role": "user", "content": "What is the capital of France?" } ] )

笔记本：
Google Colab (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF/colab)
Kaggle (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF/kaggle)

本地应用：
设置 (https://huggingface.co/settings/local-apps)
llama.cpp (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=llama.cpp)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 llama.cpp：

安装（macOS、Linux）

`` curl -LsSf https://llama.app/install.sh | sh

启动本地兼容 OpenAI 的服务器（含 Web 界面）：

llama serve -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

直接在终端中运行推理：

llama cli -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

使用 WinGet 安装（Windows）

`` winget install llama.cpp

启动本地兼容 OpenAI 的服务器（含 Web 界面）：

llama serve -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

直接在终端中运行推理：

llama cli -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

使用预构建二进制文件

``

从以下地址下载预构建二进制文件：

https://github.com/ggerganov/llama.cpp/releases

启动本地兼容 OpenAI 的服务器（含 Web 界面）：

./llama-server -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

直接在终端中运行推理：

./llama-cli -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

从源代码构建

`` git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake –build build -j –target llama-server llama-cli

启动本地兼容 OpenAI 的服务器（含 Web 界面）：

./build/bin/llama-server -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

直接在终端中运行推理：

./build/bin/llama-cli -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

使用 Docker

docker model run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

LM Studio
Jan

vLLM (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=vllm)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 vLLM：

通过 pip 安装并启动模型服务

``

通过 pip 安装 vLLM：

pip install vllm

启动 vLLM 服务器：

vllm serve “GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF”

使用 curl 调用服务器（兼容 OpenAI 的 API）：

curl -X POST “http://localhost:8000/v1/chat/completions”
-H “Content-Type: application/json”
–data ‘{ “model”: “GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF”, “messages”: [ { “role”: “user”, “content”: “What is the capital of France?” } ] }’ ``

使用 Docker

docker model run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

Ollama (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=ollama)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 Ollama：

ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

Unsloth Studio (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=unsloth)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 Unsloth Studio：

安装 Unsloth Studio（macOS、Linux、WSL）

`` curl -fsSL https://unsloth.ai/install.sh | sh

运行 Unsloth Studio

unsloth studio -H 0.0.0.0 -p 8888

然后打开浏览器访问 http://localhost:8888

搜索 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 开始对话

``

安装 Unsloth Studio（Windows）

`` irm https://unsloth.ai/install.ps1 | iex

运行 Unsloth Studio

unsloth studio -H 0.0.0.0 -p 8888

然后打开浏览器访问 http://localhost:8888

搜索 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 开始对话

``

使用 HuggingFace Spaces 运行 Unsloth

``

无需配置

在浏览器中打开 https://huggingface.co/spaces/unsloth/studio

搜索 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 开始对话

``

Pi (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=pi)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 Pi：

启动 llama.cpp 服务器

``

安装 llama.cpp：

brew install llama.cpp

启动本地兼容 OpenAI 的服务器：

llama serve -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

在 Pi 中配置模型

``

安装 Pi：

npm install -g @mariozechner/pi-coding-agent

添加到 ~/.pi/agent/models.json：

{ “providers”: { “llama-cpp”: { “baseUrl”: “http://localhost:8080/v1”, “api”: “openai-completions”, “apiKey”: “none”, “models”: [ { “id”: “GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M” } ] } } } ``

运行 Pi

``

在项目目录中启动 Pi：

pi ``

Hermes Agent (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=hermes-agent)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 Hermes Agent：

启动 llama.cpp 服务器

``

安装 llama.cpp：

brew install llama.cpp

启动本地兼容 OpenAI 的服务器：

llama serve -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

配置 Hermes

``

安装 Hermes：

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup

将 Hermes 指向本地服务器：

hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

运行 Hermes

hermes

Atomic Chat

OpenClaw (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=openclaw)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 OpenClaw：

启动 llama.cpp 服务器

``

安装 llama.cpp：

brew install llama.cpp

启动本地兼容 OpenAI 的服务器：

llama serve -hf GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

配置 OpenClaw

``

安装 OpenClaw：

npm install -g openclaw@latest

注册本地服务器并将其设置为默认模型：

openclaw onboard –non-interactive –mode local
–auth-choice custom-api-key
–custom-base-url http://127.0.0.1:8080/v1
–custom-model-id “GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M”
–custom-provider-id llama-cpp
–custom-compatibility openai
–custom-text-input
–accept-risk
–skip-health ``

运行 OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

Docker Model Runner (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=docker-model-runner)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 Docker Model Runner：

docker model run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

Lemonade (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF?local-app=lemonade)

如何使用 GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 搭配 Lemonade：

拉取模型

``

从 https://lemonade-server.ai/ 下载 Lemonade

lemonade pull GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M ``

运行模型并与之对话

lemonade run user.MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF-Q4_K_M

列出所有可用模型

lemonade list

相似文章

GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF

Hugging Face Models Trending

GnLOLot 发布了 MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking 模型的 GGUF 量化版本。该模型是一个 10 亿参数的思考模型，基于 Fable 5 数据微调，相比 V1 版本在工具调用/函数调用方面有所改进，旨在通过 llama.cpp 及兼容运行时进行本地部署。

GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking

Hugging Face Models Trending

MiniCPM5-1B-Claude-Opus-Fable5-Thinking 是一个紧凑的 10 亿参数思考型语言模型，基于 openbmb/MiniCPM5-1B 在 Fable 5 数据上微调而成，增强了编码和指令跟随能力，同时保留了原生的思考聊天模板和工具调用格式。它支持高达 128K 的上下文长度，适合本地部署。

unsloth/North-Mini-Code-1.0-GGUF · Hugging Face

Reddit r/LocalLLaMA

此页面托管了Cohere的North-Mini-Code-1.0模型的GGUF量化版本，这是一个30B-A3B MoE模型，针对代码生成和代理任务进行了优化。提供了从特定PR构建llama.cpp以支持cohere2moe架构的说明。

huihui-ai/Huihui-GLM-5.2-abliterated-GGUF

Hugging Face Models Trending

Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本，可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。