还有人完全忽略这些大规模的“开放权重”发布吗？
摘要
一位社区成员表示，像 GLM-5.2（7530 亿参数）这样的巨大开放权重模型由于极高的显存需求，实际上无法在本地自托管，并认为这一趋势背离了本地 AI 社区的初衷，令人沮丧。
说实话，GLM-5.2 这类模型的基准测试看起来确实疯狂。7530 亿参数、100 万上下文、MIT 许可证……现在首页上大家都在狂欢。但问题是……这到底哪里还算是“本地”了？一个 700B+ 的 MoE 模型根本塞不进任何人的家用机器。就算你把它压到 q1 或 q2 的 GGUF 格式，依旧没法跑。我有一台双 GPU 配置，用的是可靠的 x8/x8 分叉主板，即使在 AMD ROCm 下做了深度优化，这些庞然大物在物理上也无法加载，除非你有一台企业级服务器机架。我真怀念这个版块还真正关注本地部署的日子。那时的氛围是分享编译技巧、折腾 llama.cpp 的 `--batch` 大小、测试新的量化方法，以及想方设法把模型塞进我们的硬件里。现在呢，一半的帖子基本上都是免费给那些 99% 的人只能通过付费 API 或租用云实例才能使用的模型做宣传。这完全违背了初衷。别误会，权重确实公开发布了，而不是锁在保险库里，这很棒。但实际来说呢？对普通人而言，它们和闭源也没什么区别。可能我只是因为显存不足而酸了哈哈哈，但我是真的对这些巨大而无法运行的发布热潮完全没感觉了。有人跟我一样吗？
相似文章
GLM-5.2 是本地人工智能的一次胜利
GLM-5.2 是一款拥有 753B 参数、采用 MIT 许可证的开源模型，具备前沿级别的编码能力和超大的上下文窗口。其蒸馏潜力有望为本地 AI 设置带来显著改进。
@UnslothAI: GLM-5.2 现在可以本地运行！2-bit 模型在从 1.51TB 缩小到 238GB（-84% 大小）后保留了约 82% 的准确率…
UnslothAI 宣布 GLM-5.2，Z.ai 的最强开源模型，拥有 744B 参数，现在可以通过动态 GGUF 量化在本地运行，将大小减少约 84% 至 239GB，同时保留约 82% 的准确率。它适用于 256GB Mac 以及 RAM/VRAM 配置，并支持长上下文、推理和代理任务。
GLM-5.2 刚发布开放权重，在编程方面已经异常强大
GLM-5.2 已以 MIT 许可证发布开放权重，拥有 100 万上下文窗口和两种推理努力模式。早期基准测试显示它在编程任务中表现出色，值得在基准截图之外进行测试。
在仅有CPU的情况下本地运行GLM-5.2！（穷人的大型模型方案）
一位用户仅用CPU在本地运行GLM-5.2，演示如何在简陋的配置上运行大型模型。
GLM-5.2 是 Artificial Analysis 上新的领先开源权重模型
智谱AI的GLM-5.2已成为Artificial Analysis Intelligence Index上新的领先开源权重模型，得分为51，超越了MiniMax-M3和DeepSeek V4 Pro等竞争对手。该模型拥有744B总参数、40B活跃参数、MIT许可证和1M上下文窗口。