GLM 5.2 在 Mac Studio 上的提速 PR
摘要
GLM 5.2 在配备 512GB RAM 的 Mac Studio 上带来了重大性能提升，在高上下文长度下实现超过 100 t/s 的预填充速度，并支持超过 10 万 token 上下文的 4 位量化，详细信息见 oMLX 创建者的拉取请求。
给那些幸运的 512GB Mac 用户提个醒：GLM 5.2 是一个颠覆性的变化，因为预填充速度在更高的上下文下仍保持在 100 t/s 以上，而且占用更少空间，因此我们可以运行超过 10 万上下文的 4 位量化。详见 oMLX 创建者的这个 PR：https://github.com/jundot/omlx/pull/1984
相似文章
@AlexFinn：我简直不敢相信这是真的，我的 Mac Studio 上 100% 本地运行 GLM 5.2（2比特量化），得到的结果……
用户报告在 Mac Studio 上本地运行 GLM 5.2（2比特量化），声称其性能优于 Opus 4.8，并实现免费、私密的超级智能，用于编程和智能体任务。
消费级硬件上的 GLM 5.2
一位用户在配备双 RTX 5090 的高端类消费级系统上测试了 unsloth 量化版 GLM-5.2 模型，达到了每秒 12 个 token。
在4台GB10上运行GLM 5.2，配备100G交换机，330k上下文，~25 tok/s解码，~650 tok/s预填充
本文详细介绍了在4台GB10的配置上，使用100G交换机运行GLM 5.2，在330k上下文下实现约25 tok/s解码和约650 tok/s预填充。内容包括硬件成本、使用Depth Prefill的性能基准测试，以及关于为更长上下文进行模型剪枝的说明。
@cryptoresetlife: @support_huihui 在 Mac Studio M3 Ultra (512GB) 上成功部署无审查版 GLM5.2 754B 参数模型 (231GB GGUF)，948 tokens / 4分25秒 ≈ 3.6 tokens/s
无审查版 GLM5.2 754B 参数模型（231GB GGUF）已成功部署在配备512GB内存的 Mac Studio M3 Ultra 上，实现了约3.6 tokens/s的速度。
@pcuenq：GLM 5.2 刚刚发布，现在已经在两台 Mac Studio（M3 Ultra）上通过 MLX 运行。这相当于……
GLM 5.2 是一款与顶级闭源模型相媲美的开放权重 AI 模型，现已发布，并在两台 Mac Studio（M3 Ultra）上通过 MLX 运行。