@ErickSky: 忘掉vLLM、llama.cpp和昂贵的GPU吧。[colibri] 这个工具用纯C语言在约25GB RAM上运行GLM-5.2 (744B MoE)…
摘要
colibri 是一个纯C语言推理工具，通过从磁盘流式传输专家模型，在约25GB RAM上运行GLM-5.2 744B MoE模型，无需昂贵的GPU。
查看缓存全文
缓存时间: 2026/07/10 20:16
忘记 vLLM、llama.cpp 和昂贵的 GPU 吧。
[colibri]
这个项目用纯 C 语言和磁盘专家流式传输，在约 25 GB RAM 上就能运行 GLM-5.2（744B MoE）。
你并非想要它，而是需要它！
仓库👇 https://t.co/11vuRLtsSh
相似文章
@danveloper: 现在大家都这么做
Zane Chen 演示了 Colibri，它使用纯 C 语言和仅 CPU 推理，通过从磁盘流式传输专家，在配备 25GB 内存的笔记本电脑上运行 GLM-5.2 (744B MoE)。
Colibri 实操体验：本地无 GPU 运行 GLM 5.2 (744B)
Colibri 支持在 CPU 上本地运行 744B 参数的 GLM 5.2 模型，无需 GPU 硬件即可实现大规模 AI 的访问。
@yibie: 推荐这个项目，一个人用纯 C 写了一个推理引擎，让 7440 亿参数的 GLM-5.2 在 25GB 内存的消费级机器上跑起来。没有 GPU，没有 BLAS，没有 Python 运行时——约 1300 行 C 代码。核心洞察很简单：MoE…
Colibri 是一个纯 C 编写的推理引擎，约 1300 行代码，零依赖，能在 25GB 内存的消费级机器上运行 7440 亿参数的 GLM-5.2 MoE 模型，通过流式加载路由专家和高效缓存实现，无需 GPU 或 Python 运行时。
Show HN: 在慢速电脑上运行GLM 5.2
Colibrì是一个纯C推理引擎，通过从磁盘流式加载专家，在约25GB RAM的消费级硬件上运行744B参数的GLM-5.2 MoE模型，配合推测解码可实现约2.2-2.8 token/秒的速度。
@GPTWare：呃呃呃这什么鬼？？？
Colibri在拥有25GB RAM的笔记本电脑上运行744B参数的GLM-5.2 MoE模型，每个token仅激活约40B参数，并从磁盘流式传输专家，全部在一个2400行的C文件中完成，无需GPU。