单张 RTX 5090 运行 Qwen3.8:27b 实现 85.6 token/s MTP
摘要
在单张 RTX 5090 GPU 上使用 Qwen3.8:27b 模型,达到每秒 85.6 token 的性能。
暂无内容
相似文章
@populartourist: Unsloth Qwen3.6 27B Q6_K 在 RTX 5090 上通过 MTP 实现超过 100 令牌/秒。相比没有 MTP 时的 45-50 令牌/秒大幅提升。这真是太…
Unsloth Qwen3.6 27B Q6_K 在 RTX 5090 上通过 MTP 达到每秒超过 100 个令牌,相比没有 MTP 时的 45-50 令牌/秒显著提升。
@Oluwaphilemon1:在单张 24GB 显存的 RTX 3090 上,Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡,同一个模型,推理速度提升近 4.6 倍
一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存,在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec,无需升级硬件。日常聊天场景的性能约为 133 tokens/sec,说明峰值数据主要来自高度可复用的工作负载。
Qwen3.8-27B在24GB RTX PRO 4000 SFF上以256K上下文运行(432 GB/s带宽):通过MTP实现每秒50个token
本文详细描述了一项实验,该实验在24GB GPU上使用多token预测和自定义优化,实现了Qwen3.8-27B在256K上下文下每秒50个token的推理速度。
Qwen3.6 27B 在 RTX 5090 上,调整 MTP/缓存设置后的 6.4k 采样 token/s 分布
在 RTX 5090 上运行 Qwen3.6 27B,调整 MTP 和缓存设置后达到每秒 6.4k 个 token,展示了推理优化技术。
双RTX 4060 Ti上Qwen3.6 q4xl达到125 tok/s,性价比惊人
有用户报告称,在两张RTX 4060 Ti显卡上运行Qwen3.6 q4xl达到了每秒125个token,强调性价比出色,并想知道进一步优化是否能达到150 tok/s。