@steeve: @Zai_org 的 DFlash 初始实现已在 @zml_ai 中(即将在 zml/llmd 中)
摘要
Zai_org 的 DFlash 初始实现已集成到 ZML AI 中,并计划将其纳入 zml/llmd。
@Zai_org 的 DFlash 初始实现已在 @zml_ai 中(即将在 zml/llmd 中)https://t.co/8eFipmepMf
查看缓存全文
缓存时间: 2026/05/15 21:07
在@zml_ai中初步集成@Zai_org的DFlash实现(即将在zml/llmd中提供)https://t.co/8eFipmepMf
相似文章
@zhijianliu_: DFlash 现已在生产推理堆栈中运行。更多草稿模型即将推出。https://github.com/z-lab/dflash
DFlash 是一个用于投机解码的轻量级块扩散模型,现已支持 Qwen 和 Gemma 等各种大语言模型并投入生产环境使用。
z-lab/dflash
DFlash 引入了一种用于 Flash 投机解码的块扩散方法,以提高大语言模型的推理速度。
@modal: 我们与 @lmsysorg 和 http://z-lab.ai 合作,将 DFlash 规范集成到 @sgl_project,并通过重叠加速……
Modal 与 LMSys 和 Z Lab 合作,将 DFlash 推测解码集成到 SGLang,在大型语言模型上实现了相比基准最高 4.3 倍的吞吐量提升,比原生多 token 预测提升 1.5 倍。
DFlash 支持已合并到 llama.cpp
DFlash 支持已合并到 llama.cpp,提升了兼容模型的推理性能。
@bstnxbt: dflash-mlx v0.1.6 发布。迄今为止最大的代理更新:► 在真实的OpenCode/编码代理会话中更实用 ►…
dflash-mlx v0.1.6 已发布,带来重大代理改进,包括自适应验证、自定义内核、前缀缓存改进,以及与 OpenCode、aider、Continue 等代理编码工具的更广泛兼容性。