jlnsrk/GLM-5.2-colibri-int4
摘要
针对GLM-5.2 744B MoE模型的预转换int4量化权重，旨在使用colibrì引擎在约25GB内存的消费级硬件上运行。
查看缓存全文
缓存时间: 2026/07/14 04:14
jlnsrk/GLM-5.2-colibri-int4 · Hugging Face
Source: https://huggingface.co/jlnsrk/GLM-5.2-colibri-int4
https://huggingface.co/jlnsrk/GLM-5.2-colibri-int4#glm-52–colibr%C3%AC-int4-container-370-gbGLM-5.2 — colibrì int4 容器（约 370 GB）
为 colibrì (https://github.com/JustVugg/colibri) 预转换的权重——这是纯 C 引擎，通过从磁盘流式加载路由专家，在拥有约 25 GB 内存的消费级机器上运行 GLM-5.2 (744B MoE)。
这是 colibrì 的 coli convert（convert_fp8_to_int4.py --ebits 4 --io-bits 8，包含用于原生投机解码的 MTP 头部）的输出，上传后你无需下载 756 GB 的 FP8 检查点并花费一天时间转换。
⚠️ 这不是 GGUF / AWQ / GPTQ / MLX 模型。 它是 colibrì 自身的容器：对于每个量化权重，name（U8，打包的 int4 半字节） + name.qs（F32 每行缩放因子），使用与引擎 C 内核数学位一致的方式量化。仅适用于 colibrì 引擎。
使用方法
# 获取引擎
git clone https://github.com/JustVugg/colibri && cd colibri/c && ./setup.sh
# 将本仓库下载到快速的本地磁盘（NVMe, ext4 — 切勿使用网络/9p 挂载）
hf download jlnsrk/GLM-5.2-colibri-int4 --local-dir /nvme/glm52_i4
# 聊天（RAM 预算、专家缓存和 MTP 自动检测）
COLI_MODEL=/nvme/glm52_i4 ./coli chat
要求：Linux（或 WSL2）、gcc + OpenMP、AVX2、≥16 GB 内存、约 400 GB 空闲 NVMe 空间。
内容说明
| 文件 | 内容 |
|---|---|
out-*.safetensors | 密集权重（注意力/MLA、共享专家、嵌入层）+ 21,504 个路由专家，int4 每行缩放；路由器/归一化层保留 F32 |
| MTP 分片 | GLM-5.2 的多 token 预测头部（第 78 层）—— 实现无损投机解码（约 2 tok/前向传播） |
config.json, tokenizer*.json, generation_config.json | 从原仓库复制 |
转换方式：FP8（e4m3，128×128 块缩放因子）→ f32 → int4，使用与引擎 lrintf 匹配的 np.rint——与本地转换的结果逐 token 一致。
来源与许可证
转换自 zai-org/GLM-5.2-FP8（MIT 许可证）。此衍生作品同样使用 MIT 许可证。使用 colibrì 的官方转换器进行转换，未经修改。
相似文章
@ErickSky: 忘掉vLLM、llama.cpp和昂贵的GPU吧。[colibri] 这个工具用纯C语言在约25GB RAM上运行GLM-5.2 (744B MoE)…
colibri 是一个纯C语言推理工具，通过从磁盘流式传输专家模型，在约25GB RAM上运行GLM-5.2 744B MoE模型，无需昂贵的GPU。
Show HN: 在慢速电脑上运行GLM 5.2
Colibrì是一个纯C推理引擎，通过从磁盘流式加载专家，在约25GB RAM的消费级硬件上运行744B参数的GLM-5.2 MoE模型，配合推测解码可实现约2.2-2.8 token/秒的速度。
Colibri 实操体验：本地无 GPU 运行 GLM 5.2 (744B)
Colibri 支持在 CPU 上本地运行 744B 参数的 GLM 5.2 模型，无需 GPU 硬件即可实现大规模 AI 的访问。
@GPTWare：呃呃呃这什么鬼？？？
Colibri在拥有25GB RAM的笔记本电脑上运行744B参数的GLM-5.2 MoE模型，每个token仅激活约40B参数，并从磁盘流式传输专家，全部在一个2400行的C文件中完成，无需GPU。
在4台DGX Spark上运行4-bit量化GLM-5.2（753B MoE）：Terminal-Bench 2.1得分70.8%，完整模型为81.0%
在4台DGX Spark机器上运行4-bit量化版GLM-5.2（753B MoE），Terminal-Bench 2.1得分为70.8%，而完整模型为81.0%。