@antirez: 基于我在DwarfStar中实现GLM 5.2的说法,有90%的概率我会合并该分支…

X AI KOLs Following 模型

摘要

Antirez宣布合并实现GLM 5.2的分支可能性很高,这可能成为运行在512GB Mac Studio上的最佳模型,并可能通过2位量化在分布式128GB MacBook上运行。

基于我在DwarfStar中实现GLM 5.2的说法,有90%的概率我会合并正在开发的分支。目前它可能是运行在512GB Mac Studio系统上的最佳模型,并且通过分布式推理,如果2位量化效果良好,我想我们可以用3台128GB MacBook来运行。
查看原文

相似文章

GLM 5.2 在 Mac Studio 上的提速 PR

Reddit r/LocalLLaMA

GLM 5.2 在配备 512GB RAM 的 Mac Studio 上带来了重大性能提升,在高上下文长度下实现超过 100 t/s 的预填充速度,并支持超过 10 万 token 上下文的 4 位量化,详细信息见 oMLX 创建者的拉取请求。