@Anbeeld: BeeLlama v0.4.7 发布了!在使用 MTP 和 DFlash 时,您可以节省数 GB 的 VRAM!在图像中展示的示例中…

X AI KOLs Timeline 工具

摘要

BeeLlama v0.4.7 发布,通过为 MTP 和 DFlash 提供独立的 drafter ubatch 大小调整,实现数 GB 的 VRAM 节省,并大幅提升 ROCm 和 CUDA 在 AI 推理方面的性能。

BeeLlama v0.4.7 发布了!在使用 MTP 和 DFlash 时,您可以节省数 GB 的 VRAM!在图像中展示的示例中,v0.4.7 在我的 2×3090 设置中使用 Qwen 3.8 27B 且 ubatch 设为 2048 时,通过 MTP 节省 2.5 GB,通过 DFlash 节省 11 GB。 亮点: - 独立的 drafter ubatch 大小调整:为 MTP 和特别是 DFlash 带来巨大的 VRAM 节省,且预填充性能损失极小或没有。 - 重大 ROCm KVarN 改进:在 AMD GPU 上实现更好的性能和正确性,感谢 GitHub 用户 raufaser。 - 原生支持 64 维 K/V 头的 KVarN。 - 更快的 KVarN GQA2/GQA4 D128 CUDA 内核。 - 支持共享的 Qwen4Exp MTP 权重。 此外,还改进了提示缓存/检查点恢复和 DFlash KVarN 注意力,修复了 Qwen4Exp QSA、张量分割推测解码、精度尾端、KLD 内存使用、CUDA 回退等问题。
查看原文

相似文章

@NFTCPS: 本地跑大模型的注意了! 有人把llama.cpp改造成了性能怪兽——BeeLlama.cpp,同样的显存,推理速度直接干到3倍,上下文容量扩展7.5倍,这不是PPT,是实测数据。 它把三个顶级优化方案塞进一个代码库: DFlash推测解码…

X AI KOLs Timeline

BeeLlama.cpp is a fork of llama.cpp that integrates DFlash speculative decoding, TurboQuant/TCQ KV-cache compression, and adaptive draft control, achieving up to 3x faster inference and 7.5x context expansion on the same hardware.