q2-k

标签

Cards List
#q2-k

llamacpp有一个新的PR,声称使用rocm可将提示处理速度提升约15%,同时修复了一个bug,使Q2_K的速度提升了28倍

Reddit r/LocalLLaMA · 2026-07-21 缓存

llama.cpp的一个新PR将ROCm上的提示处理速度提升了约15%,并修复了一个bug,使Q2_K量化速度提升了28倍。

0 人收藏 0 人点赞
#q2-k

@antirez: GLM 5.2,Q2_K路由专家(有效约2.6位)在M5 Max 128GB计算机上通过SSD流式运行。

X AI KOLs Following · 2026-06-28 缓存

GLM 5.2模型使用Q2_K量化路由专家(有效2.6位)在M5 Max 128GB计算机上通过SSD流式运行。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈