Telperion 推出新模型：Qwen3.8-27B-MLA 和 Qwen3.8-27B-GLA-g2。KV 缓存缩小至原来的 1/4，推理更智能、更高效。

大家好！我们 Telperion 最近一直忙于大量实验性研究（更多成果即将公布）。今天，我们宣布发布 Qwen3.8-27B 的潜在注意力变体。我们的潜在注意力变体（量化版本针对 FP8 KV 缓存进行了校准）将 KV 缓存压缩至原来的 1/4，使消费级硬件上的最大上下文长度可提升至接近 4 倍，或使服务器硬件上的并发量可提升至接近 4 倍。这些变体表现出色：我们的 MLA 变体在 SWE 上的性能提升具有统计显著性（+6.58%），同时推理 token 用量减少了 20% 以上。由于在多 GPU 设备上部署 MLA 存在显存方面的弊端，我们制作了一个采用两个分组的分组潜在注意力变体，让双 GPU 用户也能实现 4 倍 KV 缓存压缩。模型 SWE-bench Verified（零样本、无工具，n > 1500）平均输出 token 数 KV 压缩倍数（TP = 1，TP = 2）Qwen3.8-27B 39.5% — — Qwen3.8-27B-MLA 42.1% 0.88× 4.00×, 2.28× Qwen3.8-27B-GLA-g2 39.4% 0.86× 4.00×, 4.00× 我们拥有出色的训练后量化方案，并已制作出保真度高于同等大小 .gguf 量化版本的量化模型。我们的模型配有易于安装的 vLLM 插件。量化格式 显存占用（包括 MTP 头和视觉编码器）Top-1 不一致率增幅（越低越好）BF16 55.7GB — FP8 31.5GB 0.06% INT4 22.9GB 0.17% EXL3-4.0bwp* 17.2GB 0.46% *EXL3 需要自定义 vLLM 插件才能运行。该插件已在 RTX PRO 6000、H100 和 2× RTX 5060Ti 16GB 上通过验证。我们认为，创意和研究不应被设限。因此，我们将很快开源我们的方法。该方法完全无需重新训练，并且兼容几乎所有采用分组查询注意力或类似变体的模型。最后，我们计划在获得更多算力后推出改进的第 2 版，并提供完整的基准测试套件。我们还将在 Qwen4-27B 发布后制作其稀疏潜在注意力变体。你希望看到哪些模型采用潜在注意力？如果你有兴趣关注我们的研究、学习或开展研究，或者与我们联系，欢迎加入我们的 Discord 服务器。