@iotcoi：Qwen3.6-27B-FP8 + Dflash + DDTree，256k 上下文，10 个智能体，单颗 49W GB10 上峰值 200 tokens/s，平均解码 136 tokens/s

X AI KOLs Timeline 2026/04/22 13:54 模型

qwen3-6 fp8-quantization 256k-context gpu-inference

摘要

量化版 27B Qwen3.6 在单颗 49W GB10 GPU 上借助 Dflash+DDTree 优化，256k 上下文、10 智能体并发，峰值达 200 tok/s，平均 136 tok/s。

Qwen3.6-27B-FP8 + Dflash + DDTree，256k 上下文，10 个智能体，单颗 49W GB10 GPU 上峰值 200 tokens/s，平均解码 136 tokens/s

查看原文

查看缓存全文

缓存时间: 2026/04/22 17:51

Qwen3.6-27B-FP8 + Dflash + DDTree，256k 上下文，10 个智能体，单张迷你 GB10 GPU 上约 200 tokens/秒，最大解码 136 tokens/秒，平均功耗 49 W

相似文章

Reddit r/LocalLLaMA

本文介绍了一种使用量化n-gram运行Qwen3.8-Flash-Next模型的方法，可在单张96GB显卡上实现超过17万token的上下文长度。通过INT4量化技术配合内存映射磁盘访问，处理速度最高可达每秒110个token。

X AI KOLs Timeline

一位开发者在单颗74W GB10 GPU上，用vLLM同时跑起10个35B参数Qwen3.6模型agent，总吞吐436 tok/s，实现高效边缘部署。