rtx-2080-ti

标签

Cards List
#rtx-2080-ti

两块旧款RTX 2080 Ti,每块22GB显存,运行Qwen3.6 27B,使用f16 KV缓存达到38 token/s

Reddit r/LocalLLaMA · 12小时前

一位用户分享其配置:使用两块改装版RTX 2080 Ti GPU(每块22GB显存)通过llama.cpp以38 token/s运行Qwen 3.6 27B,并包含关于功耗限制、张量分割模式和KV缓存设置的技巧。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈