@ramin_m_h: 昨天我们让它们更压缩了!今天我们用推测解码让它们比以往更快!高达4倍解码速度 …
摘要
Liquid AI 发布了针对其 LFM 系列的 DSpark 草稿模型,结合推测解码,在设备上实现高达4倍的解码加速,同时保持输出质量。
查看缓存全文
缓存时间: 2026/08/21 07:05
昨天我们让它们更加精简!今天通过推测解码,我们让它们的速度比以往更快!
我们的1.2B、2.6B和8B MoE模型在设备端可实现高达4倍的解码加速。
你一定要试试这些LFM——无论是设备端的函数调用应用,还是云端对延迟敏感的负载场景!这是我们团队@tugot17的匠心之作。
请尽情体验
Liquid AI (@liquidai): 今天我们发布了LFM2.5-1.2B-Instruct、LFM2.5-2.6B和LFM2.5-8B-A1B的DSpark草稿模型。这些模型新增了推测解码路径,通过最小化的内存增加换取大幅解码加速,且不会改变输出质量。
轻量级草稿模型会生成一个…
相似文章
@Prince_Canuma:LFM2.5 DSpark by @liquidai 即将加入 mlx-vlm v0.6.16,支持在 M5 Max 上进行精确推测解码,速度提升高达 3.7× …
LFM2.5 DSpark by liquidai 已集成到 mlx-vlm v0.6.16 中,使 M5 Max 上的推测解码速度提升高达 3.7×,且输出零漂移,用于设备端视觉语言模型推理。
@dzhulgakov:来自 @deepseek_ai 的 DSpark 巧妙融合了多种投机解码思路,将吞吐量提升 1.5 到 5 倍…
来自 DeepSeek AI 的 DSpark 集成了投机解码思路,在生产系统中实现 1.5 到 5 倍的吞吐量提升。本推文从基础开始讲解了 10 个关键思路。
@danielhanchen: DeepSeek刚刚发布了用于V4 Flash和Pro的DSpark,一种新的投机解码方法,将吞吐量提升51%至400%!…
DeepSeek发布了DSpark,一种投机解码方法,可将V4 Flash和Pro的吞吐量提升51%至400%,同时还开源了DeepSpec代码库,用于训练和评估草稿模型。
@jimmysmith1919: 又一个好发布。我们几个LFM2.5模型的新草稿模型,用于推测解码。1.2B: https://hu…
LiquidAI发布了用于推测解码的草稿模型,以加速其LFM2.5模型,在H100和Apple硅芯片上实现高达2倍的推理加速,且不降低质量。
LFM2.5-DSpark使推理速度最高提升3.2倍
Liquid AI 发布了LFM2.5系列的DSpark草稿模型检查点,使推理速度在GPU和设备上最高提升3.2倍,质量损失极小,并在首日就支持llama.cpp和SGLang等开源工具。