@davideciffa: 如果你拥有Nvidia RTX 4090,--ddtree-budget 36是最佳配置,可在解码过程中带来2.5倍速度提升…

X AI KOLs Timeline 工具

摘要

一条推文推荐Nvidia RTX 4090使用--ddtree-budget 36,声称在Qwen3.6_27B解码时实现2.5倍加速。

如果你拥有Nvidia RTX 4090,--ddtree-budget 36是最佳配置,可在解码Qwen3.6_27B时获得2.5倍速度提升。感谢提供的基准测试 https://t.co/bs8xGnAl76 🙌 https://t.co/mO82mEWH7S
查看原文
查看缓存全文

缓存时间: 2026/05/24 16:35

如果你拥有Nvidia RTX 4090,使用--ddtree-budget 36是最佳配置,在解码Qwen3.6_27B时能带来2.5倍的速度提升。感谢这个基准测试:https://t.co/bs8xGnAl76 🙌 https://t.co/mO82mEWH7S

相似文章

48GB VRAM + Qwen 3.6 27B 的最佳设置

Reddit r/LocalLLaMA

一位用户分享了在双GPU配置(RTX 4090 + RTX 3090)上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置,在250k上下文下实现了75-100 t/s和1500 pp。