@seclink: 这家伙刚刚在一块单张 3090 显卡上，跑出了 Qwen 3.5-27B Dense 模型 134 tok/s 的速度，以及新版 Qwen 3.6-27B 模型 73 tok/s 的速度。2026 年的开源社区，其发展速度简直如神速一般。…
摘要
A single RTX 3090 achieves 134 tok/s on the new 27B Qwen 3.5 Dense and 73 tok/s on Qwen 3.6-27B using fused kernels and speculative decoding, with same-day GGUF releases.
查看缓存全文
缓存时间: 2026/04/23 12:05
这家伙刚刚在一块单张 3090 显卡上，跑出了 Qwen 3.5-27B Dense 模型 134 tok/s 的速度，以及新版 Qwen 3.6-27B 模型 73 tok/s 的速度。2026 年的开源社区，其发展速度简直如神速一般。 模型权重在傍晚发布，动态 GGUF 文件在午夜前上线，而融合内核（Fused Kernel）+ 推测解码（Speculative
相似文章
@TeksEdge：一位本地性能达人仅用单张RTX 3090运行Qwen3.8-27B，达到约381 tok/s。这位开发者将24GB的RTX 3090变成了一个mo…
一位开发者通过使用DFlash2和前缀缓存等优化技术，在单张RTX 3090上运行Qwen3.8-27B模型，实现了高达381 tok/s的推理速度，特别适用于RAG和编程助手等文档相关任务。
我将 Qwen3.8-27B 在 RTX 3090 上优化至单请求 99 tps 和批量请求 1150 tps
作者在 RTX 3090 GPU 上优化了 Qwen3.8-27B 模型的推理，通过各种量化和优化技术，实现了单请求高达 99 tps 和批量处理 1150 tps 的性能，并在 GitHub 上发布了更新的代码。
更新：Qwen 3.8 27B 在单张 RTX 3090 上使用 Megakernel 达到 140 token/秒：与 llama.cpp 相比，KL 散度为 0.0009
用于 Qwen3.8-27B 的 CUDA 巨型内核引擎在单张 RTX 3090 上实现了比 llama.cpp 快 1.4–1.9 倍的推理速度（代码生成速度为 140 token/秒），且没有可测量的精度损失，这一点已通过与参考实现对比的 KL 散度和困惑度基准测试得到验证。
@ItsmeAjayKV: 成就解锁：得益于RTX 3090，现在我可以运行Qwen3.6-27b密集模型。正在运行 @Alibaba_Qwen Qwen 3…
用户使用llama.cpp在RTX 3090上对Qwen3.6-27B进行基准测试，实现了35 tok/s的生成速度和1247 tok/s的提示处理速度。
@Oluwaphilemon1：在单张 24GB 显存的 RTX 3090 上，Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡，同一个模型，推理速度提升近 4.6 倍
一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存，在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec，无需升级硬件。日常聊天场景的性能约为 133 tokens/sec，说明峰值数据主要来自高度可复用的工作负载。