我创建了一个用于编码的140GB IQ2_XXS REAP量化版GLM 5.2。正在寻找测试者。
摘要
一个用于编码的140GB IQ2_XXS REAP量化版GLM 5.2已被创建，作者正在寻找测试者。
暂无内容
相似文章
有人测试过 IQ1_M 342GB 剪枝版 Kimi K3 吗？能用吗？
这是一个高度实验性的 GGUF 版本，基于 2.8T 参数的 Kimi K3 MoE 模型，剪枝了 55% 的专家并量化至约 2.15 bpw（319 GiB）。运行它需要特定的 llama.cpp PR 和自定义补丁，并包含详细的使用说明。
GLM 5.2 Q1_S 对比 Qwen 27B Q8
一位爱好者将高度量化的 GLM 5.2（Q1_S）与高量化版本的 Qwen 27B（Q8）在代码生成任务上进行对比，发现量化程度较低的大模型在质量和完整性上明显优于量化程度较高的小模型。
@AlexFinn：我简直不敢相信这是真的，我的 Mac Studio 上 100% 本地运行 GLM 5.2（2比特量化），得到的结果……
用户报告在 Mac Studio 上本地运行 GLM 5.2（2比特量化），声称其性能优于 Opus 4.8，并实现免费、私密的超级智能，用于编程和智能体任务。
@Sentdex: 检测到：Unsloth 对 GLM 5.2 的量化版本即将发布。
Unsloth 针对 GLM 5.2 模型的量化版本正在发布中。
@antirez: GLM 5.2，Q2_K路由专家（有效约2.6位）在M5 Max 128GB计算机上通过SSD流式运行。
GLM 5.2模型使用Q2_K量化路由专家（有效2.6位）在M5 Max 128GB计算机上通过SSD流式运行。