@ramin_m_h: 昨天我们让它们更压缩了!今天我们用推测解码让它们比以往更快!高达4倍解码速度 …

X AI KOLs Timeline 模型

摘要

Liquid AI 发布了针对其 LFM 系列的 DSpark 草稿模型,结合推测解码,在设备上实现高达4倍的解码加速,同时保持输出质量。

昨天我们让它们更压缩了!今天我们用推测解码让它们比以往更快! 在设备上,我们的1.2B、2.6B和8B moe模型解码速度高达4倍提升。 你一定要试试这些LFM模型,用于设备上的函数调用应用或云上延迟敏感负载!这是我们自己人 @tugot17 的佳作 享受吧
查看原文
查看缓存全文

缓存时间: 2026/08/21 07:05

昨天我们让它们更加精简!今天通过推测解码,我们让它们的速度比以往更快!

我们的1.2B、2.6B和8B MoE模型在设备端可实现高达4倍的解码加速。

你一定要试试这些LFM——无论是设备端的函数调用应用,还是云端对延迟敏感的负载场景!这是我们团队@tugot17的匠心之作。

请尽情体验

Liquid AI (@liquidai): 今天我们发布了LFM2.5-1.2B-Instruct、LFM2.5-2.6B和LFM2.5-8B-A1B的DSpark草稿模型。这些模型新增了推测解码路径,通过最小化的内存增加换取大幅解码加速,且不会改变输出质量。

轻量级草稿模型会生成一个…

相似文章

LFM2.5-DSpark使推理速度最高提升3.2倍

Hugging Face Blog

Liquid AI 发布了LFM2.5系列的DSpark草稿模型检查点,使推理速度在GPU和设备上最高提升3.2倍,质量损失极小,并在首日就支持llama.cpp和SGLang等开源工具。