另一个 Qwen 3.8 27B 展示 - GTA 风格提示 - 也提醒在你的配置中使用 ngram。

https://preview.redd.it/ewxbqcpuakkh1.png?width=2559&format=png&auto=webp&s=e20b67d1c1444f5ba19cc0d6ccd10db84dc544bf 这是链接：https://cobalt-scheduler-2hj0.pagedrop.io/ 完全可玩的小型 GTA 风格游戏，全部使用 Qwen 3.8 27B 配合128k上下文制作。完全使用了上下文，所以你也可以查看摘要。 性能摘要（来自日志的真实数据） 设置 模型：Qwen3.8-27B-Q6_K 硬件：2x RTX 5060 Ti (32 GB) 上下文：131,072 tokens 提示处理（预填充） 25k tokens：~850–890 tokens/s（例如，25,177 tokens 用时 9.41 秒） 62 tokens：~47 tokens/s（31.51 秒日志） 令牌生成（解码） 最佳持续速度：197 tokens/s（任务 16515，生成 15,787 tokens） - 是的，它是 197 t/s 因为我使用了 ngram，它只是使用相同的令牌。当你使用它来写相同的东西时，它会飙升。 典型持续速度：50–55 tokens/s（任务 0，25,173 tokens） 短唯一提示：35–40 tokens/s（任务 27449，530 tokens） 推测效率 峰值接受率：89.46%（任务 16515） 峰值时的平均草稿长度：18.28 tokens 典型接受：63–66%，草稿长度 ~2.3–3.7 总输出证据 最长运行：31,468 tokens，生成速度 55.46 t/s（任务 18497） 最快运行：15,787 tokens，速度 197.77 t/s（任务 16515） 这是详细摘要 令牌使用和性能稳定性（真实数据） 任务 生成令牌数 生成速度（tokens/s） 0 25,173 58.80 10794 20,765 71.83 16515 15,787 197.77 -n gram 启用了 17412 15,960 165.81 18497 31,468 55.46 27449 530 39.44 27659 3,564 39.80 29015 1,276 36.77 29568 3,056 37.35 30825 2,075 37.50 速度下降和稳定性 基线速度（短或唯一提示）：36–40 t/s（任务 27449–30825） – 非常稳定。 典型长运行速度（中等缓存命中）：55–72 t/s（任务 0, 10794, 18497）。 峰值速度（高缓存命中）：166–198 t/s（任务 16515, 17412）。 观察到的最大下降：从 197.77 t/s（任务 16515）下降到 36.77 t/s（任务 29015） – 当推测缓存无效时下降 81%。 最长生成运行：31,468 tokens，稳定在 55.46 t/s（任务 18497），表明长时间输出没有性能下降。 这是我的配置，对于好奇的人，我相信它会帮助到某些人 "C:\Users\dsdt\llama\llama-server.exe" ^ -m "C:\Users\dsdt\Modeller\Qwen3.8-27B-UD-Q6_K.gguf" ^ --mmproj "C:\Users\dsdt\Modeller\mmproj-BF16.gguf" ^ --jinja ^ --chat-template-kwargs "{\"reasoning_effort\":\"medium\"}" ^ --chat-template-file "C:\Users\dsdt\Modeller\chat_template.jinja" ^ --reasoning on ^ --reasoning-preserve ^ -c 131072 ^ --split-mode tensor ^ --flash-attn on ^ --cache-type-k q8_0 ^ --cache-type-v q8_0 ^ --spec-type draft-mtp,ngram-mod ^ --spec-draft-n-max 2 ^ --spec-ngram-mod-n-match 24 ^ --spec-ngram-mod-n-min 24 ^ --spec-ngram-mod-n-max 86 ^ -t 8 ^ --batch-size 8869 ^ --ubatch-size 531 ^ -ngl 105 ^ -np 1 ^ --fit off ^ --temp 1.0 ^ --top-p 0.95 ^ --top-k 20 ^ --min-p 0.00 ^ --presence-penalty 0.0 ^ --host 127.0.0.1 ^ --port 8080"