在RTX 5060 Ti上使用Extened Garlic以float8精度运行Qwen3.5 35B A3B，速度达55 tok/s
摘要
一种名为'Extened Garlic'的技术使得在RTX 5060 Ti上以float8精度运行Qwen3.5 35B A3B模型达到55 tok/s的速度。
暂无内容
相似文章
在 RTX 3060 + 5060 Ti 上成功运行 Qwen 3.8 27B EXL3
一名用户成功运行了 Qwen 3.8 27B AI 模型在 RTX 3060 和 5060 Ti GPU 的混合设置上，使用 exllamav3 的张量并行技术，在启用 MTP 的情况下达到约每秒 50 个令牌的速度。
Qwen3.6:35b UD Q4_K_M 在 Nvidia P40 上实现 80 tok/s
一位用户分享在单个 Nvidia P40 上使用 TheTom 的 TurboQuant 版 llama.cpp，以 Q4_K_M 量化方式和 100k 上下文运行 Qwen3.6 35B 模型，实现了 80 tok/s，并强调了多种优化。
@ItsmeAjayKV: 成就解锁：得益于RTX 3090，现在我可以运行Qwen3.6-27b密集模型。正在运行 @Alibaba_Qwen Qwen 3…
用户使用llama.cpp在RTX 3090上对Qwen3.6-27B进行基准测试，实现了35 tok/s的生成速度和1247 tok/s的提示处理速度。
实验：Qwen3.8-2.4T-A95B 在 RTX 5090 + RTX 5060 Ti 上本地运行，约 0.80 tok/s
一个实验，使用 llama.cpp 在双消费级 GPU（RTX 5090 + 5060 Ti）上本地运行 Qwen3.8-2.4T-A95B MoE 模型，启用 MTP 推测解码后达到约 0.8 tok/s。
**Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS：仅凭一张 RTX 3060 12GB + 16GB DDR4 内存即可达到约 21 tok/s（未做 gate pruning，100% 位精确）**
一位开发者展示了一个为 llama.cpp 定制的 `--moe-direct-io` 功能，在仅配备 12GB 显存的 RTX 3060 和 16GB 内存的环境下运行 125B MoE 模型 Qwen3.5-Flash Next（IQ2_XS 量化，68GB），实现了 10–15 倍的加速（20–24 tok/s），且输出结果与官方版本逐位一致（bit-exact）。