vram-optimized

标签

Cards List
#vram-optimized

Ornith-1.0-35B Q3_K_M:约17 GB显存,经KLD与BF16对比验证

Reddit r/LocalLLaMA · 2天前

Ornith-1.0-35B Q3_K_M是一个35B参数模型的3位量化版本,需要约17 GB显存,并通过KLD与BF16对比检查以确保保真度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈