@nullfoundry: 各位好。我想分享一下我新的 dflash 方案（昨天已合并到官方 llama.cpp） llama-server -hf uns…

X AI KOLs Timeline 工具
llama-cpp speculative-decoding dflash inference-optimization qwen gguf tutorial

摘要

分享在 llama.cpp 中使用 dflash 投机解码的新方案，在单张 RTX 3090 上结合 Qwen3.6-27B GGUF 和草稿模型达到约 70 TPS。

各位好。 我想分享一下我新的 dflash 方案（昨天已合并到官方 llama.cpp） llama-server -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M --host 0.0.0.0 --port ${PORT} --threads 8 --threads-batch 8 --ctx-size 120000 --predict 16384 --batch-size 2048 --ubatch-size 1024 --gpu-layers all --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --no-mmap --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0.0 --repeat-penalty 1.0 --presence-penalty 0.0 --parallel 1 --metrics --jinja --reasoning off --reasoning-format auto --reasoning-budget 2048 -ctxcp 32 -fitt 1024 --cache-ram 16384 --chat-template-kwargs "{ \"preserve_thinking\": false}" --checkpoint-min-step 512 --reasoning-budget-message "Okay, I have thought enough. I will now provide the final answer" --cache-prompt --no-mmproj --kv-unified --spec-type draft-dflash -md "C:\Users\bagcn\.cache\huggingface\hub\qwen3.6-27b-dflash-IQ4_XS.gguf" -ngld 99 ~70TPS - 1x RTX 3090 巨大的改进！！！
查看原文
查看缓存全文

缓存时间: 2026/06/30 07:37

大家好。

我想分享我新的 dflash 配方（昨天刚合并到官方 llama.cpp 中）：

llama-server -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M –host 0.0.0.0 –port ${PORT} –threads 8 –threads-batch 8 –ctx-size 120000 –predict 16384 –batch-size 2048 –ubatch-size 1024 –gpu-layers all –flash-attn on –cache-type-k q8_0 –cache-type-v q8_0 –no-mmap –temp 0.6 –top-k 20 –top-p 0.95 –min-p 0.0 –repeat-penalty 1.0 –presence-penalty 0.0 –parallel 1 –metrics –jinja –reasoning off –reasoning-format auto –reasoning-budget 2048 -ctxcp 32 -fitt 1024 –cache-ram 16384 –chat-template-kwargs “{ "preserve_thinking": false}” –checkpoint-min-step 512 –reasoning-budget-message “Okay, I have thought enough. I will now provide the final answer” –cache-prompt –no-mmproj –kv-unified –spec-type draft-dflash -md “C:\Users\bagcn.cache\huggingface\hub\qwen3.6-27b-dflash-IQ4_XS.gguf” -ngld 99

约 70 TPS - 1 张 RTX 3090

巨大的改进！！！

相似文章