@Tono_Ken3: 在GPU上驱动Qwen3.6-27b（100 TPS），同时在CPU上驱动Hy3-299B（25 TPS），本地LLM推理计算新时代的曙光…
摘要
演示同时在GPU上以100 TPS运行Qwen3.6-27b，在CPU上以25 TPS运行Hy3-299B，标志着本地LLM推理的一个里程碑。
相似文章
@cniongolo: 我不确定大家是否已经意识到，你实际上可以在双 GPU 上运行 Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF…
演示了在双路 Nvidia RTX PRO 6000 Blackwell GPU 上，使用 Hugging Face Inference 运行自定义 Qwen 模型（Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF），达到每秒约 195 个 token 的处理速度。
@lxfater：有人用一块 RTX 3090 自制推理引擎，让 Qwen 27B 飞速跑出每秒 273 个 token！这速度……
一位开发者（coffeecup2020）打造了一款名为 tqllm 的自定义推理引擎，在 RTX 3090 上运行 Qwen3-27B（TQ3_4S-v2 量化版本），达到了惊人的每秒 273 个 token——文中将这一速度与人类阅读速度作对比，并指出近期出现了一波轻量级 LLM 推理方案的发布潮，包括在 12GB 显存上运行量化版 Qwen3.8-Flash-Next 的 Strata。
更新：Qwen 3.8 27B 在单张 RTX 3090 上使用 Megakernel 达到 140 token/秒：与 llama.cpp 相比，KL 散度为 0.0009
用于 Qwen3.8-27B 的 CUDA 巨型内核引擎在单张 RTX 3090 上实现了比 llama.cpp 快 1.4–1.9 倍的推理速度（代码生成速度为 140 token/秒），且没有可测量的精度损失，这一点已通过与参考实现对比的 KL 散度和困惑度基准测试得到验证。
@Oluwaphilemon1: Qwen3.8-27B at 56 tok/s on a 9-year-old GPU. Let that sink in. The GPU? NVIDIA V100 32GB. A card that launched at aroun…
在NVIDIA V100 GPU上实现Qwen3.8-27B模型每秒56个令牌的推理速度，展示了使用推测解码技术在旧硬件上进行经济高效的本地AI部署。
实验：Qwen3.8-2.4T-A95B 在 RTX 5090 + RTX 5060 Ti 上本地运行，约 0.80 tok/s
一个实验，使用 llama.cpp 在双消费级 GPU（RTX 5090 + 5060 Ti）上本地运行 Qwen3.8-2.4T-A95B MoE 模型，启用 MTP 推测解码后达到约 0.8 tok/s。