我对 Gemma 4 12B 采用了 Fable-5 风格的推理和助手轨迹进行了微调，并将其发布为 Gemmable 4 12b。

可用格式：

• GGUF：q4_k_m 至 fp16
• MLX（适用于 Apple Silicon）

仓库中还包含 MTP 草稿。

训练在我的 @NVIDIAAI DGX Spark 上完成。

Mia-AiLab/Gemmable-4-12B-MTP-GGUF · Hugging Face

来源：https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF Gemmable 4 12b

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#gemmable-4-12bGemmable 4 12B

Gemmable 4 12B 是 Gemma 4 12B 经过 Fable-5 风格推理和助手轨迹微调后的 GGUF 导出版本。

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#highlights亮点

• 基础模型：google/gemma-4-12B
• 格式：GGUF
• 训练风格：Fable-5 风格推理和助手轨迹
• 分发：fp16 GGUF 以及每个量化版本对应的匹配助手 GGUF
• 预期用途：本地推理、编程、推理和助手工作流

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#how-to-use如何使用

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#llamacppllama.cpp

标准加载：

llama-server -m "gemmable-4-12b-fp16.gguf"

推测 / draft-MTP 加载：

llama-server -m "gemmable-4-12b-Q4_K_M.gguf" \ --spec-draft-model "gemmable-4-12b-Q4_K_M-mtp.gguf" \ --spec-type draft-mtp \ --spec-draft-n-max 4

使用匹配的 fp16 或量化主文件及其 -mtp 伴侣文件。

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#lm-studioLM Studio

1. 搜索此仓库，下载目标文件 + mtp 文件。
2. 加载目标文件。
3. 加载设置 → 推测解码 → 选择 mtp 文件。

（需要合并了 am17an 的 PR 或自定义 llama.cpp 运行时的 LM Studio。截至 2026-05，主线 LM Studio 运行时尚未包含针对 Gemma-4 的 draft-mtp —— 请关注上游合并情况。）

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#gguf–local-inference-notesGGUF / 本地推理说明

• gemmable-4-12b-fp16.gguf 是标准 fp16 主模型。
• gemmable-4-12b-fp16-mtp.gguf 是匹配的 fp16 助手/草稿文件。
• 量化配对遵循相同模式，例如 gemmable-4-12b-Q4_K_M.gguf 和 gemmable-4-12b-Q4_K_M-mtp.gguf。
• 上传时请将配对文件保存在同一个 Hugging Face 仓库中。

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#limitations局限性

• 输出质量取决于提示词和运行时设置。
• MTP / 推测支持取决于客户端应用程序。
• 这不是原始基础检查点；它是微调后的导出版本。

https://huggingface.co/Mia-AiLab/Gemmable-4-12B-MTP-GGUF#naming命名

Gemmable = Gemma + Fable 风格微调。