标签
Colibri 支持在 CPU 上本地运行 744B 参数的 GLM 5.2 模型，无需 GPU 硬件即可实现大规模 AI 的访问。
作者展示了在仅使用 CPU 的系统上，通过 Koboldcpp 高效运行 Gemma-4-26B-A4B 模型，在一台旧台式机上达到了每秒 7 个 token 的速度，这表明运行本地大语言模型推理可能并不需要强大的 GPU。