@antirez: 基于我在DwarfStar中实现GLM 5.2的说法,有90%的概率我会合并该分支…
摘要
Antirez宣布合并实现GLM 5.2的分支可能性很高,这可能成为运行在512GB Mac Studio上的最佳模型,并可能通过2位量化在分布式128GB MacBook上运行。
基于我在DwarfStar中实现GLM 5.2的说法,有90%的概率我会合并正在开发的分支。目前它可能是运行在512GB Mac Studio系统上的最佳模型,并且通过分布式推理,如果2位量化效果良好,我想我们可以用3台128GB MacBook来运行。
相似文章
@antirez:在 DwarfStar 中首次实现了 GLM 5.2 的基本工作版本。还需要一些时间才能变得足够好,但这只是一个有前景的开始……
Antirez 报告了在 DwarfStar 中首次实现 GLM 5.2 的工作版本,使用了 433 GB 的 GGUF 文件,运行于配备 512GB 内存的 M3 Ultra 上,不过还需要进一步优化。
@antirez:DS4 现已更名为 DwarfStar4,因为你可以将大量质量压缩进极小的空间……几分钟后它将……
Antirez 宣布将 DS4 更名为 DwarfStar4,并预告将采用自研 iMatrix 方案,为 128GB Mac 带来优化后的 2-bit 量化模型。
@AlexFinn:我简直不敢相信这是真的,我的 Mac Studio 上 100% 本地运行 GLM 5.2(2比特量化),得到的结果……
用户报告在 Mac Studio 上本地运行 GLM 5.2(2比特量化),声称其性能优于 Opus 4.8,并实现免费、私密的超级智能,用于编程和智能体任务。
GLM 5.2 在 Mac Studio 上的提速 PR
GLM 5.2 在配备 512GB RAM 的 Mac Studio 上带来了重大性能提升,在高上下文长度下实现超过 100 t/s 的预填充速度,并支持超过 10 万 token 上下文的 4 位量化,详细信息见 oMLX 创建者的拉取请求。
@UnslothAI: GLM-5.2 现在可以本地运行!2-bit 模型在从 1.51TB 缩小到 238GB(-84% 大小)后保留了约 82% 的准确率…
UnslothAI 宣布 GLM-5.2,Z.ai 的最强开源模型,拥有 744B 参数,现在可以通过动态 GGUF 量化在本地运行,将大小减少约 84% 至 239GB,同时保留约 82% 的准确率。它适用于 256GB Mac 以及 RAM/VRAM 配置,并支持长上下文、推理和代理任务。