首页
/
模型
/
将 Qwen3.8-27b 调校/消融(abliterated)后压缩到一张 24GB 显卡上运行,262k 上下文的 GGUF 格式,使用的是最新未发布版本的 LexiPanel。速度很快,草稿接受率也相当稳定。这套配置是针对 7900 XTX 做的,但在任何 24GB 显卡上以无头模式运行都应该没问题。不像大多数其他微调模型,它在写代码时不会变笨。
将 Qwen3.8-27b 调校/消融(abliterated)后压缩到一张 24GB 显卡上运行,262k 上下文的 GGUF 格式,使用的是最新未发布版本的 LexiPanel。速度很快,草稿接受率也相当稳定。这套配置是针对 7900 XTX 做的,但在任何 24GB 显卡上以无头模式运行都应该没问题。不像大多数其他微调模型,它在写代码时不会变笨。
摘要
由 LexiPanel 优化的 GGUF 构建版本:一个经过量化和 abliteration 处理的 Qwen3.8-27B CODER 模型变体(采用 IQ4_XS 量化并使用 imatrix),可在单张 24 GB GPU 上运行,并支持 262k 上下文窗口。该模型配备 MTP 头用于推测解码,在 RX 7900 XTX 上的草稿接受率达 85%。
https://huggingface.co/Wa1k3r/Qwen3.8-27b-CODER-4q\_xs-24GB-262k-Optimalcardfit
# Qwen3.8-27B CODER — IQ4\_XS imatrix · 24 GB 显卡适配 · \~262k 上下文 · MTP 草稿
由 LexiPanel 进行量化、Abliterated 处理与显卡适配。其 Fit planner 选择了张量混合方案,以在约 240k token 的上下文下填满一张 24 GB 显卡。重要性矩阵基于代码密集型文本构建,MTP 头保持在 Q8\_0 精度,因此 `--spec-type draft-mtp` 无需单独的草稿模型即可工作。上传者每天都在用它进行智能体编码。在 RX 7900 XTX 上,当上下文中已有 110k–170k token 时,解码速度为 36–41 token/s。
## 文件
| 文件 | 类型 | 大小 |
|---|---|---|
| `Wa1k3r/Qwen3.8-27b-CODER-4q_xs-24GB-262k-Optimalcardfit.gguf` | IQ4\_XS + imatrix | 18.35 GB (17.1 GiB) |
MTP 头保持 Q8\_0,token 嵌入使用 Q4\_K。
## 实测速度(真实使用场景,非合成基准)
以下是 2026-10-01 期间来自智能体编码会话的 98 次请求,由服务器自行计时:
| 窗口内已有上下文 | 请求数 | 解码中位数 | 解码范围 |
|---|---|---|---|
| 65k – 131k token | 42 | 41.2 t/s | 33.8 – 46.0 t/s |
| 131k – 171k token | 56 | 36.0 t/s | 30.7 – 43.0 t/s |
**MTP 草稿接受率**:中位数为 85%(中间一半请求落在 75% 至 94% 之间)。在草稿深度为 2 时,每次解码步约产出 2.7 个 token。
**预填充(Prefill)**:冷启动的 108k token 提示词为 387 t/s;在 147k–156k 深度下新增约 4.5k token 时为 175–183 t/s。
**显存**:在 245,760 token 上下文时占用 24.2 / 24.6 GB,KV 缓存使用 q4\_1,视觉投影器位于 CPU 上。
**硬件环境**:AMD Radeon RX 7900 XTX(24 GB),llama.cpp b11235,Vulkan 后端,所有层加载到 GPU,单槽位。
## 运行方式(llama.cpp)
```
llama-server -m Qwen3.8-27b-CODER-4q_xs-24GB-262k-Optimalcardfit.gguf \
-c 262144 -np 1 -ngl 99 --flash-attn on \
--cache-type-k q4_1 --cache-type-v q4_1 \
--spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0 \
--jinja --reasoning on --reasoning-format deepseek \
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \
-b 2048 -ub 512 --cache-reuse 256
```
- **上下文**:`-c 262144` 是在 24 GB 显卡上、配合 q4\_1 KV 缓存时,权重旁边能容纳的容量。模型原生窗口为 262,144 token。显存更小的显卡请先降低 `-c`。
- **投机解码**:`--spec-type draft-mtp` 使用本文件内的 MTP 层进行草稿,无需单独的草稿模型。需要支持 qwen35 架构和 draft-mtp 的较新版本 llama.cpp;本次测试基于 b11235。
- **采样**:以上是 Qwen 的推荐设置,同时已存储在文件内。
- **智能体循环**:主机内存提示词缓存有帮助,例如 `--cache-ram 5631`(MiB)。
- **视觉**:本仓库仅包含语言模型。添加 Qwen3.8-27B 的 mmproj,使用 `--mmproj mmproj-F16.gguf --no-mmproj-offload`。投影器将运行在 CPU 上,显存全部留给上下文。
## LexiPanel 的制作过程
- **转换**:源权重被转换为包含 MTP 头的 BF16 GGUF。
- **重要性矩阵**:基于约 300k token(570 个分块)的代码密集型校准文本计算。其中四分之三是 Python 源码(标准库和已安装包),其余为技术文档、README 和许可证文本——即编码智能体上下文通常填充的内容。
- **量化**:使用 llama.cpp b11182 的 `llama-quantize` 生成带有该矩阵的 IQ4\_XS 文件。MTP 头保持 Q8\_O 精度以保证草稿准确性,token 嵌入为 Q4\_K。
- **显卡适配**:LexiPanel 的 Fit planner 在 262144 token 上下文下,为单张 24 GB 显卡优先考虑质量地选择了张量混合方案。它选择了该显卡在该上下文下能负担的最佳质量,而非最小文件体积。
## 致谢与许可
- **量化、重要性矩阵、MTP 草稿配置与显卡适配**:LexiPanel
- **工具**:llama.cpp
- **许可协议**:Apache-2.0
权重经过处理以降低拒绝率("uncensored"),因此如何使用这些权重由您自行负责。
相似文章
Reddit r/LocalLLaMA
# Qwen3.8-27B Uncensored (Heretic + MTP) UD-IQ4_XS 量化版本
作者发布了 **Qwen3.8-27B Uncensored (Heretic + MTP)** 的 UD-IQ4_XS 量化版本,使其能够在配备 16 GB 显存的 RTX 4080 上以 **55-68 tok/s** 的速度运行。
同时提供以下版本:
- **12 GB** 显存版本
- **24 GB** 显存版本
此外还附有 **KLD 质量对比** 与 **速度基准测试**数据。
Reddit r/LocalLLaMA
在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。
Reddit r/LocalLLaMA
I found a lot of room on the table for these cards so I decided to make a specialized build to squeeze all I could. first The results: qwen 3.8 next Q3_K_XL: 920tk/s pp8192 (2 cards, ram offload), 24/27 tk/s on prose, 40+ tk/s on code with MTP but without MoE expert cache (which IS included if yuo want, read below) qwen 3.8 27B Q8_0: 1600 tk/s pp8192, 60/65 tk/s prose, 100+ tk/s code, tensor parallel. this is measured with ONE CARD BEHIND the chipset on X4. with cards on a good PciE x8 on cpu I
Reddit r/LocalLLaMA
针对Qwen 3.8 27B的草稿模型在16 GB GPU上非常有效,在RX 9070 XT上可达到约60 token/秒的速度,并提供比内置MTP更好的VRAM效率。
Reddit r/LocalLLaMA
本指南说明如何配置llama.cpp的DFlash2推测解码,以在配备16GB显存的RTX 4080 GPU上实现Qwen3.8-27B模型最高1.72倍的推理速度提升。