单张 RTX 5090 运行 Qwen3.8:27b 实现 85.6 token/s MTP

Reddit r/LocalLLaMA 新闻

摘要

在单张 RTX 5090 GPU 上使用 Qwen3.8:27b 模型,达到每秒 85.6 token 的性能。

暂无内容
查看原文

相似文章

@Oluwaphilemon1:在单张 24GB 显存的 RTX 3090 上,Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡,同一个模型,推理速度提升近 4.6 倍

X AI KOLs Timeline

一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存,在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec,无需升级硬件。日常聊天场景的性能约为 133 tokens/sec,说明峰值数据主要来自高度可复用的工作负载。