@10xmylife: Unsloth 成功将 2-bit 版本的 GLM-5.2 部署在了 256GB 的 Mac 上

X AI KOLs Following 模型
glm-5.2 2-bit-quantization local-inference unsloth open-source mac

摘要

Unsloth 成功将 GLM-5.2 模型以 2-bit 量化压缩至 238GB，可在 256GB Mac 上本地运行，保留约 82% 的准确率。

Unsloth 成功将 2-bit 版本的 GLM-5.2 部署在了 256GB 的 Mac 上
查看原文
查看缓存全文

缓存时间: 2026/06/20 16:18

Unsloth 成功将 2-bit 版本的 GLM-5.2 部署在了 256GB 的 Mac 上

Unsloth AI (@UnslothAI): GLM-5.2 现在可以在本地运行了！🔥

我们将其从 1.51TB 压缩至 238GB（体积缩小 84%）后，2-bit 模型仍保留了约 82% 的准确率。

可部署在 256GB Mac 或其他内存/显存组合的硬件上。

GLM-5.2 是迄今为止最强的开源模型。

指南：https://t.co/bI7FeeKHDd GGUF：

相似文章

GLM 5.2 on Dual Strix Halo (256GB): Worth it?

Reddit r/LocalLLaMA

本文评测了在双Strix Halo（256GB显存）上运行GLM 5.2（IQ2M量化版本）的性能，生成速度仅约7 token/s，编码任务耗时是DeepSeek V4 Flash的两倍，性价比远不如其他模型，因此不建议在此硬件配置下使用。