cache-tuning

标签

Cards List
#cache-tuning

Qwen3.6 27B 在 RTX 5090 上,调整 MTP/缓存设置后的 6.4k 采样 token/s 分布

Reddit r/LocalLLaMA · 3天前

在 RTX 5090 上运行 Qwen3.6 27B,调整 MTP 和缓存设置后达到每秒 6.4k 个 token,展示了推理优化技术。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈