q8

用户分享了他们在拥有32GB显存的RTX 5090上，使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程，并给出了基准测试结果，以及上下文长度与kv-cache量化之间的权衡。