@ciruai：终于，在智能模型上为16GB显卡实现了256k上下文，并且速度飞快！使用4080 Super 16GB，我向您展示如何获取完整…

X AI KOLs Timeline 模型
256k-context nvidia-4080-super ternary-bonsai-27b llama-cpp gpu-benchmark quantized-model consumer-gpu

摘要

演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。

终于，在智能模型上为16GB显卡实现了256k上下文，并且速度飞快！使用4080 Super 16GB，我向您展示如何根据需求获得完整的256k上下文或高达141 tok/s的速度。配置链接：https://llm.ciru.ai/research/4080-27b.html… 模型链接：https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf…
查看原文
查看缓存全文

缓存时间: 2026/07/16 16:20

终于，在智能模型上以高速实现16GB显卡的256k上下文！使用4080 Super 16GB，我展示了如何根据需求获得完整的256k上下文或高达141 tok/s的速度。配置请访问：https://llm.ciru.ai/research/4080-27b.html… 模型：https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf…

RTX 4080 SUPER + Ternary Bonsai 27B 基准测试

来源：https://llm.ciru.ai/research/4080-27b.html
标题（https://llm.ciru.ai/research/4080-27b.html#headline）平台（https://llm.ciru.ai/research/4080-27b.html#platform）仅目标模型（https://llm.ciru.ai/research/4080-27b.html#target）DSpark（https://llm.ciru.ai/research/4080-27b.html#dspark）配置（https://llm.ciru.ai/research/4080-27b.html#config）

基准测试标题

262,144 使用KV4验证的最大仅目标模型上下文。
817.36 完整262,016 token扫描时的提示词吞吐量（token/s）。
57.71 全窗口扫描时的生成吞吐量（token/s）。
141.27 解码后的DSpark生成峰值吞吐量（token/s）。

GPU、模型和运行时

GPU | NVIDIA GeForce RTX 4080 SUPER | 16,376 MiB 显存 · 计算能力 8.9
目标模型 | Ternary Bonsai 27B Q2_0 | Ternary-Bonsai-27B-Q2_0.gguf · 6.66 GiB
DSpark草稿模型 | Ternary Bonsai 27B DSpark Q4_1 | Ternary-Bonsai-27B-dspark-Q4_1.gguf · 1.81 GiB
运行时 | PrismML llama.cpp · Windows CUDA 12.4 | 构建 b1-62061f9 · 提交 62061f9

仅目标模型吞吐量

KV4通道验证长上下文操作。F16通道使用标准llama-bench配置文件捕获高吞吐量上下文阶梯。

KV4全上下文扩展

提示词/上下文 | PP token/s | TG token/s | 峰值显存 | 最小空闲
16,384 | 1,963.31 | 66.18 | 9,158 MiB | 6,888 MiB
32,768 | 1,793.54 | 64.93 | 9,499 MiB | 6,547 MiB
65,536 | 1,588.46 | 66.65 | 10,030 MiB | 6,016 MiB
131,072 | 1,229.49 | 66.93 | 11,478 MiB | 4,568 MiB
262,144 | 817.36 | 57.71 | 14,329 MiB | 1,717 MiB

KV4显存缩放

KV4显存缩放图

F16上下文阶梯

提示词 token | PP token/s | TG token/s | 峰值显存 | 最小空闲
512 | 2,157.87 ± 35.94 | 68.22 ± 0.08 | 8,543 MiB | 7,503 MiB
4,096 | 2,111.83 ± 4.28 | 68.04 ± 0.17 | 8,758 MiB | 7,288 MiB
8,192 | 1,925.52 | 61.14 | 8,972 MiB | 7,074 MiB
16,384 | 1,851.66 | 62.73 | 9,474 MiB | 6,572 MiB
32,768 | 1,673.05 | 59.87 | 10,633 MiB | 5,413 MiB
65,536 | 1,609.65 | 68.31 | 12,729 MiB | 3,317 MiB
98,304 | 1,407.04 | 66.20 | 14,783 MiB | 1,263 MiB
110,592 | 1,339.03 | 68.10 | 15,576 MiB | 470 MiB

![三元信号路径和盆景形状电路在暗硅基底上](（此处应为图片，原文未提供链接，保留占位）

一张卡。270亿参数。 仅目标模型KV4和GPU驻留DSpark配置文件。

DSpark推测吞吐量

成功GPU驻留DSpark配置下的解码生成速度和草稿接受率。

工作负载吞吐量

上下文工作负载解码后TG草稿数量接受数量接受率峰值显存最小空闲
1,024代码 · 温度 0.7117.90 t/s1449465.278%13,165 MiB2,881 MiB
2,048代码 · 温度 0.7113.78 t/s1449465.278%14,089 MiB1,957 MiB
2,048代码 · 贪心123.23 t/s1329773.485%14,346 MiB1,700 MiB
2,048算术 · 温度 0.7141.27 t/s11210190.179%14,374 MiB1,672 MiB

GPU驻留KV4上下文

上下文PP token/sTG token/s接受率请求后空闲
16,3841,185.8498.1157.89% · 88/1521,806 MiB
20,4801,056.7097.5257.89% · 88/152871 MiB
22,5281,274.5095.8957.89% · 88/152472 MiB

已验证的配置

仅目标模型 · F16吞吐量

标准llama-bench配置文件：

-ngl 99 -fa on
-ctk f16 -ctv f16
-t 8 -b 512 -ub 512

仅目标模型 · 最大上下文

262K KV4配置文件：

-ngl 99 -fa on
-ctk q4_0 -ctv q4_0
-c 262144 -np 1
-b 512 -ub 512

仅目标模型 · 平衡余量

131K KV4配置文件：

-ngl 99 -fa on
-ctk q4_0 -ctv q4_0
-c 131072 -np 1
-b 512 -ub 512

DSpark · 解码速度

GPU驻留草稿模型：

--spec-type draft-dspark
--spec-draft-n-max 4
-ngl 99 -ngld 99
-c 1024

采样器：温度 0.7 · top-p 0.95 · top-k 20 · 种子 42。

DSpark · 实用API上下文

20,480 token GPU KV4配置文件：

--spec-type draft-dspark
--spec-draft-n-max 4
-c 20480 -np 1
-b 128 -ub 128
-ngl 99 -ngld 99
-ctk q4_0 -ctv q4_0
-ctkd q4_0 -ctvd q4_0

模型文件

目标 + 配对草稿模型：

目标模型：
Ternary-Bonsai-27B-Q2_0.gguf

草稿模型：
Ternary-Bonsai-27B-dspark-Q4_1.gguf

相似文章

在32GB显存上以Q8量化使用Qwen3.6-27，接近100K上下文

Reddit r/LocalLLaMA

用户分享了他们在拥有32GB显存的RTX 5090上，使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程，并给出了基准测试结果，以及上下文长度与kv-cache量化之间的权衡。