@Tono_Ken3: 在GPU上驱动Qwen3.6-27b（100 TPS），同时在CPU上驱动Hy3-299B（25 TPS），本地LLM推理计算新时代的曙光…
摘要
演示同时在GPU上以100 TPS运行Qwen3.6-27b，在CPU上以25 TPS运行Hy3-299B，标志着本地LLM推理的一个里程碑。
在GPU上驱动Qwen3.6-27b（100 TPS），同时在CPU上驱动Hy3-299B（25 TPS），本地LLM推理计算新时代的曙光。
相似文章
@cniongolo: 我不确定大家是否已经意识到，你实际上可以在双 GPU 上运行 Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF…
演示了在双路 Nvidia RTX PRO 6000 Blackwell GPU 上，使用 Hugging Face Inference 运行自定义 Qwen 模型（Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF），达到每秒约 195 个 token 的处理速度。
@TeksEdge: 已解决！Qwen3.6-27B-FP8 现已在 Intel Arc Pro B70 上运行！LocalMaxxing 展示了 4× Arc Pro B70 32GB 的有效运行，速度约 5…
Qwen3.6-27B-FP8 模型现已在 Intel Arc Pro B70 GPU 上运行，速度约 50 tok/s，并修复了 vLLM 的一个 bug，这标志着 Intel GPU 本地 AI 推理的一个重要里程碑。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。
@ItsmeAjayKV: 成就解锁：得益于RTX 3090，现在我可以运行Qwen3.6-27b密集模型。正在运行 @Alibaba_Qwen Qwen 3…
用户使用llama.cpp在RTX 3090上对Qwen3.6-27B进行基准测试，实现了35 tok/s的生成速度和1247 tok/s的提示处理速度。
@rumgewieselt：现在变得疯狂了……三块 1080 Ti（Pascal架构，33GB VRAM）Qwen 3.6 27B MTP 搭配 196K TurboQuant，持续 ~28-30 t/s
一位用户成功在三个 GTX 1080 Ti GPU 上对 27B 参数的 Qwen 模型进行本地推理，通过 TurboQuant 优化达到了约 28-30 tokens/秒的速度。