Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw
摘要
由社区制作的 GLM-5.3-UNCENSORED（基于 Z.ai 的 GLM-5.3、参数量为 753B 的 MoE 权重编辑版本）EXL3 量化模型，3.0 bpw，占用 273 GiB，附带保真度基准测试、tau2-bench 智能体评测，以及包含 MTP 投机草稿模式的 TabbyAPI 服务配置。
查看缓存全文
缓存时间: 2026/10/03 15:44
Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw · Hugging Face
来源：https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw
https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw#glm-53-uncensored-exl3-30bpw
GLM-5.3-UNCENSORED EXL3 3.0bpw
这是对 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本，而后者本身是 zai-org/GLM-5.3 的权重编辑变体（非微调）。该编辑记录在 CRACK_SURGERY.json 中（从源仓库原样复制）。本仓库与 dealignai 或 Z.ai 均无关联。
- 架构：
GlmMoeDsaForCausalLM，753B 总参数量，256 个路由专家（激活 8 个）+ 1 个共享专家，MLA 注意力搭配 DSA 稀疏索引器，78 层 + 1 个 MTP 层 - 平均码率：3.04 bpw（
-b 3.0 --hq；注意力层和共享专家为 5 bpw，稠密 MLP 为 4 bpw，路由专家为 3 bpw），lm_head 为 6 bpw，mul1码本 - 包含 MTP（下一个词元预测）层（专家 4 bpw，注意力层和共享专家 6 bpw，未校准），可用作推测性草稿模型（TabbyAPI 中的
draft_mode: mtp） - 体积：273 GiB
- 使用 ExLlamaV3 转换，commit 为
d3739fd，默认校准（250 行 × 2048 个词元），直接从 FP8 checkpoint 读取源模型
https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw#fidelity-vs-the-fp8-source
与 FP8 源模型的保真度对比
eval/model_diff.py，wikitext-2 测试集取 20 行 × 2048 个词元：
| 指标 | 数值 |
|---|---|
| KL 散度（量化 ‖ FP8） | 0.089 |
| KL 散度（FP8 ‖ 量化） | 0.097 |
| 逐词元 KL，中位数 / p90 | 0.021 / 0.221 |
| 困惑度，量化 / FP8 | 3.440 / 3.302 |
| FP8 最大概率 ≥ 0.95 处的中位 KL（占 44% 的词元） | 0.0011 |
https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw#agentic-evaluation
Agent 评估
tau2-bench（airline、retail），Pass^1。Agent 温度 1.0，top_p 0.95；用户模拟器和评判模型均为 GPT-4.1，温度为 0。参照模型为原版 GLM-5.3（非无审查编辑版），由 Z.ai 通过 OpenRouter 以 FP8 提供，使用同一测试框架运行。因此该差异同时包含了 dealign 权重编辑和本量化两者的影响。
| 领域 | 原版 GLM-5.3 FP8（Z.ai） | 本量化 | 差异 |
|---|---|---|---|
| airline（50 个任务 × 2 次试验） | 0.710 ± 0.045 | 0.640 ± 0.048 | -0.070（约 1.1 个标准误） |
| retail（114 个任务） | 0.504 ± 0.033（2 次试验） | 0.482 ± 0.047（1 次试验） | -0.022（约 0.4 个标准误） |
逐次试验结果：airline 基线为 0.740 / 0.680，量化为 0.600 / 0.680；retail 基线为 0.465 / 0.544，量化为 0.482。± 表示一项二项分布标准误。在这些样本量下，两处差异均不具统计显著性；airline 的点估计应视为可能出现的轻微性能回归，而非已确认的下降。
https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw#serving
部署
已在 8× A100 40GB 上使用 TabbyAPI 测试，采用层分割（gpu_split_auto）、MTP 草稿模式和 98K 词元共享缓存。
model:
model_name: GLM-5.3-UNCENSORED-EXL3-3.0bpw
backend: exllamav3
max_seq_len: 65536
cache_size: 98304
gpu_split_auto: true
tool_format: glm4_7
reasoning: true
draft_model:
draft_mode: mtp
工具调用注意事项： GLM 会将工具参数以原始文本形式写出（如 9523456873）。TabbyAPI 的 glm4_5 解析器（截至 commit be74bf0）会对每个值进行 JSON 解码，而不参考工具 schema，因此看起来像数字的字符串参数（订单号、商品 ID、邮政编码等）会以整数形式传递给你的工具。在 tau2-bench retail 测试中，这导致约 70% 的工具调用失败。在使用该模型进行 Agent 任务前，请修改解析器，使其将 schema 类型为 string 的参数保留为原始文本。上述评估结果即是在应用该修复后运行的。
https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw#license
许可证
MIT 许可证，与上游 GLM-5.3 和 dealignai 的发布保持一致。
相似文章
jlnsrk/GLM-5.2-colibri-int4
针对GLM-5.2 744B MoE模型的预转换int4量化权重，旨在使用colibrì引擎在约25GB内存的消费级硬件上运行。
orcarouter/GLM-5.3-Flash-Uncensored-FP8
本文描述了Z.ai的GLM-5.3-Flash模型的无审查版本，通过abliteration移除了安全对齐，作为block-FP8检查点发布，用于研究目的。
KyleHessling1/Qwopus-GLM-18B-Merged-GGUF
实验性 18B 参数模型：将两个 Qwen-3.5-9B 微调模型堆叠后，用 1000 步 QLoRA“缝合”层边界；生成的 GGUF 在 44 项测试集上超越 Qwen 3.6-35B MoE，却只占 9.2 GB 显存。
Jackrong/Qwopus3.6-27B-Coder-MTP-GGUF
GGUF量化版本的Qwopus3.6-27B-Coder-MTP模型已发布在Hugging Face上，针对本地推理进行了优化，兼容Transformers、vLLM、SGLang和Unsloth Studio。
@UnslothAI: GLM-5.2 现在可以本地运行！2-bit 模型在从 1.51TB 缩小到 238GB（-84% 大小）后保留了约 82% 的准确率…
UnslothAI 宣布 GLM-5.2，Z.ai 的最强开源模型，拥有 744B 参数，现在可以通过动态 GGUF 量化在本地运行，将大小减少约 84% 至 239GB，同时保留约 82% 的准确率。它适用于 256GB Mac 以及 RAM/VRAM 配置，并支持长上下文、推理和代理任务。