tensor-split

标签

Cards List
#tensor-split

48GB VRAM + Qwen 3.6 27B 的最佳设置

Reddit r/LocalLLaMA · 昨天

一位用户分享了在双GPU配置(RTX 4090 + RTX 3090)上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置,在250k上下文下实现了75-100 t/s和1500 pp。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈