@ciruai：终于，在智能模型上为16GB显卡实现了256k上下文，并且速度飞快！使用4080 Super 16GB，我向您展示如何获取完整…

X AI KOLs Timeline 2026/07/16 03:28 模型

256k-context nvidia-4080-super ternary-bonsai-27b llama-cpp gpu-benchmark quantized-model consumer-gpu

摘要

演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。

终于，在智能模型上为16GB显卡实现了256k上下文，并且速度飞快！使用4080 Super 16GB，我向您展示如何根据需求获得完整的256k上下文或高达141 tok/s的速度。配置链接：https://llm.ciru.ai/research/4080-27b.html… 模型链接：https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf…

查看原文

查看缓存全文

缓存时间: 2026/07/16 16:20

终于，在智能模型上以高速实现16GB显卡的256k上下文！使用4080 Super 16GB，我展示了如何根据需求获得完整的256k上下文或高达141 tok/s的速度。配置请访问：https://llm.ciru.ai/research/4080-27b.html… 模型：https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf…

RTX 4080 SUPER + Ternary Bonsai 27B 基准测试

来源：https://llm.ciru.ai/research/4080-27b.html
标题（https://llm.ciru.ai/research/4080-27b.html#headline）平台（https://llm.ciru.ai/research/4080-27b.html#platform）仅目标模型（https://llm.ciru.ai/research/4080-27b.html#target）DSpark（https://llm.ciru.ai/research/4080-27b.html#dspark）配置（https://llm.ciru.ai/research/4080-27b.html#config）

基准测试标题

262,144 使用KV4验证的最大仅目标模型上下文。
817.36 完整262,016 token扫描时的提示词吞吐量（token/s）。
57.71 全窗口扫描时的生成吞吐量（token/s）。
141.27 解码后的DSpark生成峰值吞吐量（token/s）。

GPU、模型和运行时

仅目标模型吞吐量

KV4通道验证长上下文操作。F16通道使用标准llama-bench配置文件捕获高吞吐量上下文阶梯。

KV4全上下文扩展

提示词/上下文 | PP token/s | TG token/s | 峰值显存 | 最小空闲
16,384 | 1,963.31 | 66.18 | 9,158 MiB | 6,888 MiB
32,768 | 1,793.54 | 64.93 | 9,499 MiB | 6,547 MiB
65,536 | 1,588.46 | 66.65 | 10,030 MiB | 6,016 MiB
131,072 | 1,229.49 | 66.93 | 11,478 MiB | 4,568 MiB
262,144 | 817.36 | 57.71 | 14,329 MiB | 1,717 MiB

KV4显存缩放

KV4显存缩放图

F16上下文阶梯

提示词 token | PP token/s | TG token/s | 峰值显存 | 最小空闲
512 | 2,157.87 ± 35.94 | 68.22 ± 0.08 | 8,543 MiB | 7,503 MiB
4,096 | 2,111.83 ± 4.28 | 68.04 ± 0.17 | 8,758 MiB | 7,288 MiB
8,192 | 1,925.52 | 61.14 | 8,972 MiB | 7,074 MiB
16,384 | 1,851.66 | 62.73 | 9,474 MiB | 6,572 MiB
32,768 | 1,673.05 | 59.87 | 10,633 MiB | 5,413 MiB
65,536 | 1,609.65 | 68.31 | 12,729 MiB | 3,317 MiB
98,304 | 1,407.04 | 66.20 | 14,783 MiB | 1,263 MiB
110,592 | 1,339.03 | 68.10 | 15,576 MiB | 470 MiB

![三元信号路径和盆景形状电路在暗硅基底上](（此处应为图片，原文未提供链接，保留占位）

一张卡。270亿参数。 仅目标模型KV4和GPU驻留DSpark配置文件。

DSpark推测吞吐量

成功GPU驻留DSpark配置下的解码生成速度和草稿接受率。

工作负载吞吐量

上下文	工作负载	解码后TG	草稿数量	接受数量	接受率	峰值显存	最小空闲
1,024	代码 · 温度 0.7	117.90 t/s	144	94	65.278%	13,165 MiB	2,881 MiB
2,048	代码 · 温度 0.7	113.78 t/s	144	94	65.278%	14,089 MiB	1,957 MiB
2,048	代码 · 贪心	123.23 t/s	132	97	73.485%	14,346 MiB	1,700 MiB
2,048	算术 · 温度 0.7	141.27 t/s	112	101	90.179%	14,374 MiB	1,672 MiB

GPU驻留KV4上下文

上下文	PP token/s	TG token/s	接受率	请求后空闲
16,384	1,185.84	98.11	57.89% · 88/152	1,806 MiB
20,480	1,056.70	97.52	57.89% · 88/152	871 MiB
22,528	1,274.50	95.89	57.89% · 88/152	472 MiB

已验证的配置

仅目标模型 · F16吞吐量

标准llama-bench配置文件：

-ngl 99 -fa on
-ctk f16 -ctv f16
-t 8 -b 512 -ub 512

仅目标模型 · 最大上下文

262K KV4配置文件：

-ngl 99 -fa on
-ctk q4_0 -ctv q4_0
-c 262144 -np 1
-b 512 -ub 512

仅目标模型 · 平衡余量

131K KV4配置文件：

-ngl 99 -fa on
-ctk q4_0 -ctv q4_0
-c 131072 -np 1
-b 512 -ub 512

DSpark · 解码速度

GPU驻留草稿模型：

--spec-type draft-dspark
--spec-draft-n-max 4
-ngl 99 -ngld 99
-c 1024

采样器：温度 0.7 · top-p 0.95 · top-k 20 · 种子 42。

DSpark · 实用API上下文

20,480 token GPU KV4配置文件：

--spec-type draft-dspark
--spec-draft-n-max 4
-c 20480 -np 1
-b 128 -ub 128
-ngl 99 -ngld 99
-ctk q4_0 -ctv q4_0
-ctkd q4_0 -ctvd q4_0

模型文件

目标 + 配对草稿模型：

目标模型：
Ternary-Bonsai-27B-Q2_0.gguf

草稿模型：
Ternary-Bonsai-27B-dspark-Q4_1.gguf