Colibri 流式处理用于 Hy3（在 10GB (V)RAM 上运行 Hy3）
摘要
将 Colibri 流式处理移植到 Hy3，使模型能够在低至 10GB 的 RAM/VRAM 上运行，而原本需要 25GB。
站在巨人的肩膀上，我用 vibe-coded 方式将 Colibri 移植到 Hy3，以便您可以在更小的硬件规格上运行它（Colibri 原本需要与 GLM 5.2 搭配使用，占用 25GB，现在您只需要不超过 10GB（实际上更少））。请查看并享受 https://github.com/ErikTromp/colibri-hy3 附注：除非您有大量 VRAM，否则请使用 RAM 而非 VRAM。这里内存越多速度越快。
相似文章
@ErickSky: 忘掉vLLM、llama.cpp和昂贵的GPU吧。[colibri] 这个工具用纯C语言在约25GB RAM上运行GLM-5.2 (744B MoE)…
colibri 是一个纯C语言推理工具，通过从磁盘流式传输专家模型，在约25GB RAM上运行GLM-5.2 744B MoE模型，无需昂贵的GPU。
Colibri 实操体验：本地无 GPU 运行 GLM 5.2 (744B)
Colibri 支持在 CPU 上本地运行 744B 参数的 GLM 5.2 模型，无需 GPU 硬件即可实现大规模 AI 的访问。
@danveloper: 现在大家都这么做
Zane Chen 演示了 Colibri，它使用纯 C 语言和仅 CPU 推理，通过从磁盘流式传输专家，在配备 25GB 内存的笔记本电脑上运行 GLM-5.2 (744B MoE)。
Hy3 1Bit 89-93 GB
Hy3 1-bit量化模型的公告，内存占用89-93 GB。
Show HN: 在慢速电脑上运行GLM 5.2
Colibrì是一个纯C推理引擎，通过从磁盘流式加载专家，在约25GB RAM的消费级硬件上运行744B参数的GLM-5.2 MoE模型，配合推测解码可实现约2.2-2.8 token/秒的速度。