8GB 显存运行 Qwen 27b:200k 上下文,92.5% 的 Top-1 匹配率,LCB 上与 BF16 的差距在 10% 以内,基准测试得分比 9b 高 17%

Reddit r/LocalLLaMA 模型

摘要

LlamAmpere 负责人发布了可在 8GB 显卡上运行的 Qwen3.8 27b 超低比特量化模型(2.1bpw/1.75bpw trellis 格式),借助潜在稀疏注意力与 SJKVaRN 技术实现 200k 上下文与 92.5% Top-1 匹配率,性能接近 BF16 且比 9b 模型高出 17% 基准分,为 8GB 显卡用户带来显著能力跃升。

大家周五快乐。我一直收到请求,希望提供量化模型和配置,支持使用 8GB 显卡的用户。花了一个多月,我终于做出了一个我认为真正可用的 qwen3.8 27b 量化版本,显卡上的占用为 2.1bpw。它使用 AmperInteger+(trellis)量化格式,相比标量量化格式,KLD 更低,尤其是在这种极高压缩率下。和本周早些时候为 10/12GB 显卡发布的模型一样,这个版本之所以能实现,完全得益于 Latent Sparse Attention:它将大部分上下文开销移出显存,同时不会严重拖慢速度;以及 SJKVaRN(在降至 4 位的同时保护 KV 质量)。LlamAmpere 本来通常就向前兼容 Ada/Lovelace(40xx/50xx)系列,不过考虑到目前在 8GB 显卡上运行 qwen 27b 的选择很少,这次我专门在这几代的 8GB 显卡上做了测试。项目显然仍会以 Ampere 为重点。所以,如果你用的是 5060 等显卡,也不用担心错过什么。这个模型并没有专门针对编程进行后训练,但它的编程得分仍位居测试组榜首(与专门面向编程的 Mellum 并列)。实际上,为了避免过拟合风险,它几乎没有进行实质性的后训练(仅用不到 1000 万 token 的通用文本做了恢复训练)。我可能还没充分挖掘出它的性能,也会继续探索,不过说实话,这算是为 Qwen4 做的一次演练。数据如下:Mellum 2.1 是唯一在编程方面能与之相比的模型(但可用上下文更短,在通用任务上也无法相比)Mellum 2.1 是唯一在编程方面能与之相比的模型(但可用上下文更短,在通用任务上也无法相比)如此激进的量化很容易导致模型丢失冷门知识、陷入循环,因此这些是重点关注的问题(我本想上周末发布,但因为这个原因,不得不重新编码最后一个候选版本)。我在 hermes 和 pi code 中进行了大量测试;循环并非完全没有,但很少见,而且 LlamAmpere 有循环中止机制,可以在循环发生时将其停止。LlamAmpere 和这个模型也支持最近发布的 HF Pi code 适配器,它明显提升了这个模型的编程表现(上面的得分是在未使用适配器的情况下获得的)。你可以在这里查看基准测试数据😄 少不了的宝塔演示;即使使用中等推理强度,在 pi 中也能用 少不了的宝塔演示;即使使用中等推理强度,在 pi 中也能用 Top-1 与 UD 2-S(v3.1)量化版持平(后者的 KLD 确实低了 15%),但那个模型装不进 8GB 显卡。Top-1 略好于体积更大的 ISTA GSQ-RCO 2 XS 量化版,KLD 在统计上持平(同样,那个模型也无法在 8GB 显卡上运行)。如果没有 LSA + SJKVaRN,通常就只能运行 IQ1_M,还不能启用 MTP,得到的上下文更短,KLD 还要差 59–73%。所以,相比此前可用的选择,这确实让 8GB 显卡的能力迈上了一个新台阶。https://preview.redd.it/33sz5w1tkt2i1.png?width=1037&format=png&auto=webp&s=53c7a1a3cdbc5a6f817899c80c1017a5748f1ef4 有什么代价?你需要让显卡在无显示输出的状态下运行(或者把 HDMI 接到主板上,而不是 GPU 上),才能腾出足够空间。在这个容量下,多出来的 500 多 MB 至关重要。低于 3bpw 后,误差会急剧增加;低于 2bpw 时,即使使用 trellis 格式,也可能让模型无法正常工作(这个量化版本使用 1.75bpw 的 trellis 格式,正好处于可用性的边缘)。如果不换更大显存的显卡,就没有空间容纳视觉塔之类的组件。而且即使使用动态 UB,前约 2 万个 token 通常也只能将 UB 上限设为 512,之后还得降到 256(所以,在 hermes 等工具中务必使用提示词缓存,以缩短启动时间)。考虑到相较于 9b 后训练模型和其他模型的性能提升,我认为这些取舍完全可以接受。我确实喜欢用 mellum 处理编程任务,但即使 27b 经历了如此大幅度的量化,mellum 的世界知识和智能体能力仍无法与之相比。和往常一样,采用 MIT 许可证。模型:https://huggingface.co/jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2-8GB github:https://github.com/JakeATX/llamAmpere 祝大家用得开心!
查看原文

相似文章

Qwen3.8 27B:12GB Ampere 显卡上的 200K 上下文 + MTP

Reddit r/LocalLLaMA

LlamAmpere 新版本发布,面向 12GB Ampere 显卡优化,可在 RTX 3060/3080/3090 上运行 200K+ 上下文的 Qwen3.8 27B 量化模型,并引入 Staged + Journaled KVaRN 变体,将 KV 缓存压缩的 KLD 降低约 40%,性能达到 BF16 的约 85%。

Qwen 3.6 35B A3B:6GB 显存实现 131K 上下文 + 视觉能力

Reddit r/LocalLLaMA

一位用户分享了在 RTX 2060 6GB 显存 + 32GB 内存的消费级硬件上运行 Qwen 3.6 35B A3B(Q4_K_M 量化)的 llama.cpp 完整启动配置,实现了 131K 上下文与视觉能力,约 600 tok/s 预填充与 23 tok/s 解码速度,通过将 MoE 专家层与视觉投影器卸载到 CPU 来控制显存占用。