在 RTX 6000 上对比社区量化 Qwen 3.8 27B 与 Claude Opus 4.6
摘要
对 RTX 6000 GPU 上社区量化的 Qwen 3.8 27B 模型与 Claude Opus 4.6 进行基准比较,评估其在创建 HTML 游戏时的 token 生成速度和效率。
*早期文章的第二部分:之前的量化对比与体素岛屿创建这次我租用了三个 RTX Pro 6000 96GB 显卡,在每块显卡上运行了一个 Qwen 3.8 27B 量化模型,并给出了 4 个相同的提示:经典台球游戏、气垫球 1v1 对战、桌上足球正式比赛演示、保龄球计分模拟。我的设置:每个模型被要求编写一个单独的 HTML 文件,包含一个自玩的 3D 游戏,无系统提示,推理设置为 xhigh,所有量化版本都使用 dflash2 草稿模型,并且我选择了每个模型的最佳尝试。结果:
量化模型 | 大小 | 总 token 数 | 平均 token/秒
atomic ad-q6_k | 23.29 GiB | 393,089 | 114.17
unsloth ud-q6_k_l | 22.53 GiB | 363,083 | 70.33
bartowski q6_k | 21.85 GiB | 325,700 | 79.71
claude opus 4.6, subscription | — | 200,565 | 72.47
顺便说一下,我把所有提示和日志都放在了这里的一个 GitHub 仓库中。我来自 atomic.chat,我们制作量化模型,并有一个用于本地运行 AI 模型的开源应用(我是联合创始人,因此非常欢迎任何反馈,我们正在努力为你们打造尽可能好的产品)。Atomic Dynamic Qwen 3.8 27B GGUF quants
Unsloth Dynamic Qwen 3.8 27B GGUF quants
Bartowski Qwen 3.8 27B GGUF quants
相似文章
@RoundtableSpace: Qwen 3.8 27B 在本地 RTX 5090 上运行时,在个人基准测试中击败 Opus 4.8,速度高达每秒200个令牌,无需...
Qwen 3.8 27B 是一个拥有270亿参数的AI模型,在本地RTX 5090 GPU上运行时,在个人基准测试中超越Opus 4.8,速度高达每秒200个令牌,无需互联网或API访问。
我们量化了 Qwen 3.8 27B 并在 RTX 6000 上比较了量化版本
团队将 Qwen 3.8 27B 量化为多种 GGUF 格式,并在 RTX 6000 上进行了基准测试,发现不同量化版本性能相似,推荐 AD-Q6_K 以保证安全性。
@cniongolo: 我不确定大家是否已经意识到,你实际上可以在双 GPU 上运行 Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF…
演示了在双路 Nvidia RTX PRO 6000 Blackwell GPU 上,使用 Hugging Face Inference 运行自定义 Qwen 模型(Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF),达到每秒约 195 个 token 的处理速度。
Qwen 3.6 在双 RTX PRO 6000 上的基准测试
使用 VLLM 在双 RTX PRO 6000 GPU 上对 Qwen 3.6 27B 和 35B 模型进行基准测试,生成吞吐量高达每秒 3500 个令牌。
Qwen 3.6 27B 投机解码基准测试:单张 RTX 3090 上实现 ~100 TPS
一份详细的基准测试,比较了单张 RTX 3090 上 Qwen 3.6 27B 的投机解码引擎,显示 ik_llama 在代码生成中达到约每秒 100 个 token。结果包括 5 种引擎变体的解码 TPS、TTFT、显存占用和上下文退化情况。