GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF

Hugging Face Models Trending 模型
gguf think-model minicpm5 function-calling fine-tuning open-source tool-calling

摘要

GnLOLot 发布了 MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking 模型的 GGUF 量化版本。该模型是一个 10 亿参数的思考模型，基于 Fable 5 数据微调，相比 V1 版本在工具调用/函数调用方面有所改进，旨在通过 llama.cpp 及兼容运行时进行本地部署。

任务：文本生成 标签：gguf, llama.cpp, 量化, minicpm5, 思考, fable5, 工具调用, 函数调用, 编码, 指令遵循, 对话, 文本生成, 英语, 中文, 基础模型：GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, 量化基础模型：GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, 许可证：apache-2.0, 端点兼容, 区域：美国
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:22

GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF · Hugging Face

来源: https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF

MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF

MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking) 的 GGUF 量化版本，可用于 llama.cpp (https://github.com/ggml-org/llama.cpp)、Ollama、LM Studio、jan、KoboldCpp 以及其他 GGUF 运行时。

中文说明 (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF/blob/main/README-cn.md)

本仓库提供了 1B 参数 Thinking 模型的本地部署版本，该模型基于 Fable 5 数据（V2 版）在 openbmb/MiniCPM5-1B (https://huggingface.co/openbmb/MiniCPM5-1B) 基础上微调而成。与 V1 相比，V2 增强了 工具调用 / 函数调用 能力，同时将 MiniCPM5 原生聊天模板嵌入在 GGUF 文件中。

Transformers 检查点：MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking)

之前的 GGUF 版本：MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF)（V1）

文件

文件量化格式大小备注
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-Q8_0.ggufQ8_0~1.1 GB推荐默认
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-F16.ggufF16~2.1 GB全精度转换基础

Q8_0 是该 1B 模型的推荐默认量化。

快速开始

llama.cpp（llama-cli）

llama-cli \
  -m MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-Q8_0.gguf \
  -p "Write a Python function to merge two sorted lists." \
  -n 512 \
  --temp 0.9 --top-p 0.95 \
  -c 8192

根据 config.json，模型支持最多 128K tokens（131,072）。请根据可用显存/内存设置 -c。

llama.cpp 服务端

llama-server \
  -m MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-Q8_0.gguf \
  -c 8192 --port 8080

LM Studio / jan / KoboldCpp

加载本仓库中的任意 .gguf 文件。MiniCPM5 聊天模板已嵌入 GGUF 元数据中。

采样建议

生成参数继承自 MiniCPM5-1B (https://huggingface.co/openbmb/MiniCPM5-1B)：

模式参数
思考（默认）temperature=0.9, top_p=0.95
不思考temperature=0.7, top_p=0.95，enable_thinking=False

能力

  • 工具调用（V2 增强）——更强大的函数调用/工具使用行为
  • Fable 5 微调（V2）——在 Fable 5 数据上后训练
  • 代码生成——代码编写、调试及软件工程工作流
  • 指令遵循——更可靠地遵循用户提示和任务约束
  • 思考模式——链式推理；MiniCPM5 聊天模板已嵌入 GGUF 中
  • 长上下文——最多 128K tokens（上游 config.json 中为 131,072 tokens）

基准测试

Transformers 检查点 MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking) 的评分：

BFCL + API-Bank

模型BFCL non_liveBFCL liveAPI-Bank
MiniCPM5-1B (Base)41.51%60.24%7.30%
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking43.06%63.33%22.10%

Tau-Bench

领域MiniCPM5-1B (Base)MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking
航空0.34 (17/50)0.36 (18/50)
零售0.052 (6/115)0.070 (8/115)

限制

  • 思考输出——模型可能在最终答案前输出推理块
  • 1B 规模——轻量本地部署，非前沿规模
  • 运行时上下文——实际可用上下文取决于 GGUF 运行时和硬件限制

来源与许可

Apache-2.0，继承自 MiniCPM5-1B (https://huggingface.co/openbmb/MiniCPM5-1B)。

致谢

  • 基础模型：OpenBMB / MiniCPM5-1B (https://huggingface.co/openbmb/MiniCPM5-1B)
  • Transformers 检查点：MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking (https://huggingface.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking)
  • 量化工具：llama.cpp (https://github.com/ggml-org/llama.cpp)

相似文章

GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking

Hugging Face Models Trending

MiniCPM5-1B-Claude-Opus-Fable5-Thinking 是一个紧凑的 10 亿参数思考型语言模型，基于 openbmb/MiniCPM5-1B 在 Fable 5 数据上微调而成，增强了编码和指令跟随能力，同时保留了原生的思考聊天模板和工具调用格式。它支持高达 128K 的上下文长度，适合本地部署。

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF

Hugging Face Models Trending

Empero AI 发布了 Qwythos-9B-Claude-Mythos-5-1M-GGUF，这是一个基于 5 亿以上 tokens 的 Claude Mythos/Fable 轨迹（包含思维链）微调而成的 9B 参数推理模型，相比 Qwen3.5-9B 取得了显著提升，并通过 YaRN 旋度缩放支持 100 万 token 上下文。GGUF 量化版本支持在 llama.cpp 及兼容运行时上进行本地推理。

unsloth/North-Mini-Code-1.0-GGUF · Hugging Face

Reddit r/LocalLLaMA

此页面托管了Cohere的North-Mini-Code-1.0模型的GGUF量化版本，这是一个30B-A3B MoE模型，针对代码生成和代理任务进行了优化。提供了从特定PR构建llama.cpp以支持cohere2moe架构的说明。

bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF

Hugging Face Models Trending

ThinkingCap-Qwen3.6-27B 是 Qwen3.6-27B 的精调版本，平均使用少 50% 的思考令牌，同时保持答案质量。此仓库提供 GGUF 量化格式，用于在 llama.cpp 上进行本地推理。