expert-streaming

标签

Cards List
#expert-streaming

@ErickSky: 忘掉vLLM、llama.cpp和昂贵的GPU吧。[colibri] 这个工具用纯C语言在约25GB RAM上运行GLM-5.2 (744B MoE)…

X AI KOLs Timeline · 6天前 缓存

colibri 是一个纯C语言推理工具,通过从磁盘流式传输专家模型,在约25GB RAM上运行GLM-5.2 744B MoE模型,无需昂贵的GPU。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈