在 RTX 6000 上对比社区量化 Qwen 3.8 27B 与 Claude Opus 4.6

Reddit r/LocalLLaMA 新闻

摘要

对 RTX 6000 GPU 上社区量化的 Qwen 3.8 27B 模型与 Claude Opus 4.6 进行基准比较,评估其在创建 HTML 游戏时的 token 生成速度和效率。

*早期文章的第二部分:之前的量化对比与体素岛屿创建这次我租用了三个 RTX Pro 6000 96GB 显卡,在每块显卡上运行了一个 Qwen 3.8 27B 量化模型,并给出了 4 个相同的提示:经典台球游戏、气垫球 1v1 对战、桌上足球正式比赛演示、保龄球计分模拟。我的设置:每个模型被要求编写一个单独的 HTML 文件,包含一个自玩的 3D 游戏,无系统提示,推理设置为 xhigh,所有量化版本都使用 dflash2 草稿模型,并且我选择了每个模型的最佳尝试。结果: 量化模型 | 大小 | 总 token 数 | 平均 token/秒 atomic ad-q6_k | 23.29 GiB | 393,089 | 114.17 unsloth ud-q6_k_l | 22.53 GiB | 363,083 | 70.33 bartowski q6_k | 21.85 GiB | 325,700 | 79.71 claude opus 4.6, subscription | — | 200,565 | 72.47 顺便说一下,我把所有提示和日志都放在了这里的一个 GitHub 仓库中。我来自 atomic.chat,我们制作量化模型,并有一个用于本地运行 AI 模型的开源应用(我是联合创始人,因此非常欢迎任何反馈,我们正在努力为你们打造尽可能好的产品)。Atomic Dynamic Qwen 3.8 27B GGUF quants Unsloth Dynamic Qwen 3.8 27B GGUF quants Bartowski Qwen 3.8 27B GGUF quants
查看原文

相似文章