beellama

在 RTX 5090 上对 DFlash 推测解码结合 KV 缓存压缩进行的基准测试显示，针对 Qwen3.6-27B 模型最高可实现 3.26 倍加速，且困惑度下降极小，其中 q4_0/turbo4 提供了最佳平衡。

BeeLlama v0.2.0 引入了 DFlash 投机解码的重大改进，在单张 RTX 3090 上，Gemma 4 31B 加速最高达 4.93 倍，Qwen 3.6 27B 加速最高达 4.40 倍，且提示处理速度接近基线。