@rumgewieselt：现在变得疯狂了……三块 1080 Ti（Pascal架构，33GB VRAM）Qwen 3.6 27B MTP 搭配 196K TurboQuant，持续 ~28-30 t/s

X AI KOLs Timeline 2026/05/08 07:01 新闻

local-ai gpu-clustering llm-quantization turboquant performance-benchmark consumer-hardware

摘要

一位用户成功在三个 GTX 1080 Ti GPU 上对 27B 参数的 Qwen 模型进行本地推理，通过 TurboQuant 优化达到了约 28-30 tokens/秒的速度。

现在变得疯狂了…… 三块 1080 Ti（Pascal架构，33GB VRAM） Qwen 3.6 27B MTP 搭配 196K TurboQuant 持续 ~28-30 t/s https://t.co/asoDLIrAad

查看原文

查看缓存全文

缓存时间: 2026/05/08 13:32

现在变得疯狂了……

3张1080 Ti（帕斯卡架构，33GB显存）

Qwen 3.6 27B MTP搭配196K TurboQuant 稳定约28-30 t/s https://t.co/asoDLIrAad

相似文章

Reddit r/LocalLLaMA

开发者通过将 MTP（多 Token 预测）与 TurboQuant 的无损 KV缓存压缩技术相结合，在单张 RTX 4090 上实现了 Qwen3.6-27B 模型在 262K 上下文下 80+ token/秒的推理速度，并分享了实现分支和技术细节。

Reddit r/LocalLLaMA

作者在 RTX 3090 GPU 上优化了 Qwen3.8-27B 模型的推理，通过各种量化和优化技术，实现了单请求高达 99 tps 和批量处理 1150 tps 的性能，并在 GitHub 上发布了更新的代码。

Reddit r/LocalLLaMA

NVIDIA 展示了在 GB300 NVL72 硬件上运行 Qwen3-8B 2.4T 参数模型的高吞吐量性能，实现每 GPU 超过 4k tokens/s。

Reddit r/LocalLLaMA

一位用户演示在两张RX 580 GPU上运行量化为Q3_K_M的Qwen 27b AI模型，使用价值低于100美元的旧DDR3硬件，达到7.39 tokens/秒的性能。

Hacker News Top

本文详细描述了一项实验，该实验在24GB GPU上使用多token预测和自定义优化，实现了Qwen3.8-27B在256K上下文下每秒50个token的推理速度。