vlm-inference

标签

Cards List
#vlm-inference

Telperion 推出新模型:Qwen3.8-27B-MLA 和 Qwen3.8-27B-GLA-g2。KV 缓存缩小至原来的 1/4,推理更智能、更高效。

Reddit r/LocalLLaMA ↗ · 5天前

Telperion 发布了 Qwen3.8-27B 的潜在注意力(MLA 与 GLA-g2)变体,将 KV cache 压缩 4 倍,在消费级硬件上实现接近 4 倍的最大上下文或服务器端 4 倍并发,并在 SWE-bench Verified 上取得 +6.58% 的性能提升,同时减少约 20% 的推理 token 消耗。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈