这可能是最适合低显存系统的模型之一:SenseNova-Loop-9B 循环 Transformer 在笔记本电脑 RTX 5090 上的总吞吐量超过 1300 token/秒
摘要
SenseNova-Loop-9B 的基准测试与显存分析:这款循环式 Transformer 在笔记本电脑 RTX 5090 上采用 NVFP4 量化后,聚合吞吐量超过 1300 token/秒,在数学和常规工具任务上的表现接近 Qwen3.8-27B,但在高难度智能体任务和通用知识方面仍有差距。
当我开始在这个模型上运行 MMLU 基准测试,而性能计数器显示出这些数字时,我有点惊讶。我当时真的以为出了 bug,还检查了显示和计数器的代码。但看来这些数据是真的。基准测试 SenseNova-Loop-9B 对比 Qwen3.8-27B 两者均使用 NVFP4 权重,采用 GPTQ 误差补偿 基准测试 测试内容 SNL-9B Q3.8-27B 差距 GSM8K(300)数学应用题 95.4 95.5 −0.1 BFCL 多轮(160)跨多轮的工具调用 56.2 58.8 −2.6 HumanEval(164)Python 编程 92.5 97.0 −4.5 BFCL(1,000)单次工具调用 86.8 91.4 −4.6 tool-eval-bench 标准(69)日常工具使用 91.8 96.4 −4.6 tool-eval-bench 困难(35)高难度多步骤工具使用场景 79.0 89.5 −10.5 大海捞针 在长上下文中查找事实 83.3 100 −16.7 MMLU-Pro(100)通用知识,涵盖 14 个学科 63.7 85.0 −21.3 解读 持平:数学,以及接近持平的多轮工具调用。模型规模只有对方的三分之一,在这些方面却仅落后约 3 分。略微落后(4 至 5 分):Python 编程、单次工具调用和日常工具使用。对于常规智能体工作来说,这样的表现很扎实。明显落后:高难度多步骤工具使用场景(它会遗漏步骤,并发送错误或重复的通知)、在长上下文中查找事实,以及通用知识。因此,这个 9B 模型适合需要快速完成的常规工具使用和编程任务。在更困难的智能体任务上则表现逊色。NVFP4 量化下的显存与上下文容量 显卡显存 KV 缓存空间 总 token 数 1 个槽位 2 个槽位 4 个槽位 8 个槽位 8 GB 1.6 GiB ≈ 100K 96K 每个 48K 每个 24K 每个 12K 12 GB 5.5 GiB ≈ 350K 262K 每个 175K 每个 88K 每个 43K 16 GB 9.4 GiB ≈ 600K 262K 每个 262K 每个 150K 每个 75K 24 GB 17.4 GiB ≈ 1.1M 262K 每个 262K 每个 262K 每个 139K 该表假设为驱动程序预留 0.5 GiB,因此实际可用空间可能会略多一点。- 不含 KV 缓存时,引擎占用 5.8 至 6.1 GiB。随着上下文变长、槽位增多,其工作内存占用会略有增加。- 每 GiB 的 4 位 KV 缓存可容纳约 64,000 个 token。- 262K 是该模型单个请求的最大上下文长度。- 同时使用的槽位较少时,一个请求可以利用其他槽位的空闲空间,最高可达 262K 的上限。其他 4 位量化方式的表现应该类似,FP8 测试尚未完成。我只是被这个模型的速度震惊了。
相似文章
8GB 显存运行 Sensenova-Loop
发布了针对 8 GB GPU 优化的 SenseNova-Loop-9B 混合精度 GGUF 量化版本,最高支持约 131K 上下文,KL 散度低于标准 Q4_K_M 量化,需要使用打过补丁的 llama.cpp 运行时。
48GB 显存下速度与质量兼得!(Qwen 3.8 27B Swift 1.5 W8A16)
作者发布了自制的 Qwen 3.8 27B Swift 1.5 量化模型(8-bit AWQ + GPTQ 混合量化),在 4 张 RTX 3090 / 48GB 显存上实现了速度与质量的良好平衡,在 2 张 RTX 3090 上配合 vLLM 与 MTP 可达到近 100 tok/s 的解码速度。
单卡 RTX 5090:Qwen3.8-27B NVFP4 在 vLLM 中实现真实 262K 上下文长度 — 短上下文速度达 77 tok/s,128K 上下文时为 64.7 tok/s
本文展示了在NVIDIA RTX 5090显卡上使用vLLM框架运行Qwen3.8-27B模型的实际部署流程与性能基准测试,涵盖262K令牌上下文窗口的配置细节与各项关键指标。
48GB 显存实现 500k 上下文!!- 21 tok/s (编码)
一位用户报告成功部署了量化版 Nemotron-3 Super 模型,该模型支持 500k 上下文和代理编码,运行在消费级双 Titan RTX 硬件上。
三元 Qwen3.6 27B 在 3090 上测试!
用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B,使用两个槽位和 100k KV 缓存,占用 21GB 显存,达到了 60 tk/s 的速度,质量良好且工具调用稳定。