标签
将 Colibri 流式处理移植到 Hy3，使模型能够在低至 10GB 的 RAM/VRAM 上运行，而原本需要 25GB。
Colibri在拥有25GB RAM的笔记本电脑上运行744B参数的GLM-5.2 MoE模型，每个token仅激活约40B参数，并从磁盘流式传输专家，全部在一个2400行的C文件中完成，无需GPU。
Colibri 是一个纯 C 编写的推理引擎，约 1300 行代码，零依赖，能在 25GB 内存的消费级机器上运行 7440 亿参数的 GLM-5.2 MoE 模型，通过流式加载路由专家和高效缓存实现，无需 GPU 或 Python 运行时。
针对GLM-5.2 744B MoE模型的预转换int4量化权重，旨在使用colibrì引擎在约25GB内存的消费级硬件上运行。