48GB 显存实现 500k 上下文！！- 21 tok/s (编码)
摘要
一位用户报告成功部署了量化版 Nemotron-3 Super 模型，该模型支持 500k 上下文和代理编码，运行在消费级双 Titan RTX 硬件上。
我在 huggingface 的角落里发现了这个模型：[https://huggingface.co/Max-and-Omnis/Nemotron-3-Super-64B-A12B-Math-REAP-GGUF](https://huggingface.co/Max-and-Omnis/Nemotron-3-Super-64B-A12B-Math-REAP-GGUF) 看起来它是专门为数学调优的，但我心想试一试，因为我跑不动完整的 120B Nemotron Super，而不知为何，它在代理编码方面的表现非常出色。已经用它编码所有项目一周了，太棒了。做梦都没想到在我的破双 TITAN RTX 上能拥有 500k tokens。如果你正好尝试了，请在评论区分享你的体验，比如哪里出了问题，你用它做了什么用例等等。
相似文章
在32GB显存上以Q8量化使用Qwen3.6-27，接近100K上下文
用户分享了他们在拥有32GB显存的RTX 5090上，使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程，并给出了基准测试结果，以及上下文长度与kv-cache量化之间的权衡。
在12GB显存预算下实现真正的本地代理编码。
本文描述了一个实用的设置，用于在12GB显存GPU上运行本地代理编码，使用量化后的Qwen 3.8 27B模型，并通过OpenCode和Magic Context等工具进行上下文管理，实现高效性能。
24 GB 显存跑 170 亿参数模型 + 1M 上下文："第一次成功加载近 100 万 token 上下文，并提取出文本各处的 7 根针"
有用户报告称，在单个 RTX 3090 上，使用基于 Qwen 的 35B A3B 模型（占用 17 GB 显存），配合 BeeLlama.cpp 分支中的 KVarN 4-bit KV 缓存量化，成功运行了 100 万 token 的上下文，并从文本不同位置提取出 7 根针。
@ciruai：终于，在智能模型上为16GB显卡实现了256k上下文，并且速度飞快！使用4080 Super 16GB，我向您展示如何获取完整…
演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。
@sachindetrax: 262K 上下文长度，运行于 16GB RTX 5070 Ti 显卡上。Qwen 3.8 27B Q3 模型达到约 25 tok/s，同时一个自适应 llama.cpp 分支在 RAM 和 VRAM 之间流式传输 KV 缓存…
llama.cpp 的一个自适应 KV 缓存流式传输分支，使得在 16GB RTX 5070 Ti GPU 上运行 Qwen 3.8 27B 模型并支持 262K 上下文成为可能，通过在内存与显存间高效管理，实现了约 25 tok/s 的速度。