kaitchup/Qwen3.8-27B-SLQ-GGUF · Hugging Face

来源：https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF

本模型基于 Qwen/Qwen3.8-27B，使用**定制版 SLQ（Statistically-Lossless Quantization，统计无损量化）**进行压缩，并以 GGUF 格式打包。搜索过程在现有的量化供体权重中进行筛选，为包括嵌入层和输出头在内的 498 个完整矩阵分别选择来源。

可从以下三种模型中选择：

• **EAR 目标：**98%、98.5% 和 99%，使用 BF16 参考模型的前 10 个 token 进行选择。
• **大小：**十进制 GB（1 GB = 1,000,000,000 字节）。文本激活权重包含固定文本张量，不包括 MTP、元数据和对齐开销。
• **嵌入层 / 输出头：**EAR98 为 Q4_K / Q8_0；EAR98.5 为 Q4_K / BF16；EAR99 为 Q6_K / BF16。
• 每个文件保留了来自 UD-Q5_K_XL 供体的 351,008,768 字节量化 MTP 张量。评估时 MTP 已禁用。不包含视觉张量或多模态投影器。
• **作者：**The Kaitchup (https://kaitchup.substack.com/)。
• **许可证：**Apache 2.0 (https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF#license)。

文件名后缀 Q5_K_S、Q5_K_M 和 Q6_K 仅为 Hub 兼容性和主要精度类别标签，实际为自定义 SLQ 分配方案。

方法论文：SLQ paper · SLQ repository

候选来源

搜索过程考虑了来自 unsloth/Qwen3.8-27B-GGUF 的 UD-Q4_K_XL、UD-Q5_K_XL、UD-Q6_K_XL、Q4_0、Q8_0 和 BF16，以及来自 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF 的 IQ3_S。具有相同张量载荷的候选已被规范化处理。最终三个模型未选择任何 GSQ 供体张量，但其候选在搜索期间仍然有效。

感谢 Qwen 团队提供基础模型，Unsloth 提供 GGUF 供体，ISTA-DASLab 提供 GSQ/RCO，以及 Michael Helcig、Eldar Kurtic 和 Dan Alistarh 的 SLQ 工作。基础模型和供体仓库均声明 Apache 2.0 许可证；完整许可证见下方 (https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF#license)。原始版权和署名权归其作者所有。

逐层精度

EAR98

EAR98：实际张量格式及每权重存储位数（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/precision-ear98.svg）

SVG（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/precision-ear98.svg）

EAR98.5

EAR98.5：实际张量格式及每权重存储位数（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/precision-ear98.5.svg）

SVG（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/precision-ear98.5.svg）

EAR99

EAR99：实际张量格式及每权重存储位数（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/precision-ear99.svg）

SVG（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/precision-ear99.svg）

EAR 对比

**EAR 即 Expected Acceptance Rate（预期接受率）。**它衡量原始 BF16 模型与对比模型之间下一 token 概率分布的重叠程度。对于 EAR@K，两个分布分别在 BF16 参考模型的 K 个最可能 token 上重新归一化。全词表 EAR 使用全部 248,320 个 token ID。EAR 为 0.99 表示在该测量范围内有 99% 的平均概率重叠；这并不意味着 99% 的基准测试准确率或生成完全相同的答案。

EAR 与激活文本权重大小的关系：512 条长度为 2,048 的序列（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/ear-vs-size.svg）

可缩放 SVG（https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/blob/main/assets/ear-vs-size.svg）

SLQ 的“统计无损“目标关注的是近似保真度，而非数值输出完全一致。本次发布的模型达到了其声明的实测 EAR@10 目标。相同的校准语料库引导了模型选择，因此这些数值反映的是校准保真度，而非独立的留出集基准。这些模型在下游任务上的统计等效性尚未得到验证。

指令：llama.cpp

请使用支持 Qwen3.8 架构的 llama.cpp 构建版本。原生文本评分和独立 GGUF 一致性已在 NVIDIA GH200 上使用 llama.cpp 提交 45451c366d4256f94fbc8845645e31a6b9155054 进行验证。该验证未涵盖图像/视频推理或投机解码。

安装 Hugging Face CLI，然后下载一个文件：

pip install -U huggingface_hub
hf download kaitchup/Qwen3.8-27B-SLQ-GGUF \
  Qwen3.8-27B-SLQ-EAR98-Q5_K_S.gguf --local-dir .

使用下载的模型启动 OpenAI 兼容的文本服务器：

llama-server \
  --model Qwen3.8-27B-SLQ-EAR98-Q5_K_S.gguf \
  --n-gpu-layers 99 \
  --ctx-size 8192 \
  --port 8080

如需使用 EAR98.5 或 EAR99，请从表格中下载对应文件并修改 --model 参数。

发送聊天请求：

curl http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "messages": [{"role": "user", "content": "Is Earth smaller than Venus?"}],
    "max_tokens": 256
  }'

支持

如果这些模型对您有帮助，欢迎支持本项目或订阅 The Kaitchup。