@danveloper: 现在大家都这么做
摘要
Zane Chen 演示了 Colibri，它使用纯 C 语言和仅 CPU 推理，通过从磁盘流式传输专家，在配备 25GB 内存的笔记本电脑上运行 GLM-5.2 (744B MoE)。
查看缓存全文
缓存时间: 2026/07/12 12:55
现在人人都这么干了🙃
Zane Chen (@chenzeling4):
744B参数。运行在笔记本电脑上。仅需25GB内存。Colibri 用纯 C 语言运行 GLM-5.2（744B MoE），零依赖。秘诀：每个 token 只激活约 40B 参数，因此它保持稠密部分常驻内存，并按需从磁盘流式加载专家。单个 2,400 行的 C 文件。无需 GPU，无需
相似文章
@ErickSky: 忘掉vLLM、llama.cpp和昂贵的GPU吧。[colibri] 这个工具用纯C语言在约25GB RAM上运行GLM-5.2 (744B MoE)…
colibri 是一个纯C语言推理工具，通过从磁盘流式传输专家模型，在约25GB RAM上运行GLM-5.2 744B MoE模型，无需昂贵的GPU。
Colibri 实操体验：本地无 GPU 运行 GLM 5.2 (744B)
Colibri 支持在 CPU 上本地运行 744B 参数的 GLM 5.2 模型，无需 GPU 硬件即可实现大规模 AI 的访问。
@yibie: 推荐这个项目，一个人用纯 C 写了一个推理引擎，让 7440 亿参数的 GLM-5.2 在 25GB 内存的消费级机器上跑起来。没有 GPU，没有 BLAS，没有 Python 运行时——约 1300 行 C 代码。核心洞察很简单：MoE…
Colibri 是一个纯 C 编写的推理引擎，约 1300 行代码，零依赖，能在 25GB 内存的消费级机器上运行 7440 亿参数的 GLM-5.2 MoE 模型，通过流式加载路由专家和高效缓存实现，无需 GPU 或 Python 运行时。
Show HN: 在慢速电脑上运行GLM 5.2
Colibrì是一个纯C推理引擎，通过从磁盘流式加载专家，在约25GB RAM的消费级硬件上运行744B参数的GLM-5.2 MoE模型，配合推测解码可实现约2.2-2.8 token/秒的速度。
@GPTWare：呃呃呃这什么鬼？？？
Colibri在拥有25GB RAM的笔记本电脑上运行744B参数的GLM-5.2 MoE模型，每个token仅激活约40B参数，并从磁盘流式传输专家，全部在一个2400行的C文件中完成，无需GPU。