LFM2.5-DSpark 推理速度最高提升 3.2 倍

来源：https://huggingface.co/blog/LiquidAI/lfm25-dspark 返回文章列表

• DSpark 工作原理
• 训练与架构
• 质量对等性
• 在 CPU 和 GPU 上的推理加速
• 如何使用 LFM2.5-DSpark
• 快速开始
• 引用

今天，我们为 LFM2.5 系列的三款模型——LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B——发布了 DSpark 草稿模型检查点。这些检查点增加了推测解码路径，以极小的内存增加换取大幅解码速度提升，同时不改变输出质量：

• 推理速度更快：在 GPU 上吞吐量提升高达 3.18 倍，在设备端提升高达 2.87 倍。
• 迈向设备端智能体推理：LFM2.5-2.6B 的函数调用延迟平均降低 57%。
• 首日支持 llama.cpp 和 SGLang：兼容 LFM 的 DSpark 集成已开源至上游。

DSpark 工作原理

传统 LLM 推理的解码阶段通常是内存瓶颈。大部分延迟来自将权重从 DRAM 流式加载到 SRAM，而非密集计算。推测解码通过使用轻量级的草稿模型来生成候选令牌，然后让目标模型在一次前向传播中验证所有这些令牌，从而分摊了加载权重的成本。

多年来，已提出多种推测方法，其中最著名的有 EAGLE-3、DFlash，以及最近的 DSpark。DSpark 结合了三个组件：

• DFlash 风格的并行骨干网络，以目标模型的上下文特征为条件，在一次前向传播中为所有草稿令牌生成隐藏状态。
• 一个轻量级序列头，被建模为相邻令牌之间的马尔可夫链，增加了令牌间的依赖性，从而提高了靠后位置的接受率。
• 一个置信度调度的验证器，预测每个令牌的存活概率，并在验证成本高于其节省时裁剪低置信度的后缀。

DSpark 架构图

训练与架构

我们遵循 DSpark 的方案，使用了更大更多样化的数据混合集，涵盖 SFT、对话、代码和函数调用数据。基于我们的消融实验，草稿模型的第一版是简化的仅注意力草稿模型，包含 5 层和一个 9 块大小的结构。对于每个草稿模型，我们在整个数据集上运行了 15 个 epoch，并选择了接受率最高的 epoch，而非损失最低的。

最终得到的草稿模型相对较小，每个约 3 亿参数。

质量对等性

在贪心解码下，只有当草稿令牌与目标模型的分布匹配时才会被接受。在被拒绝时，目标模型自身的令牌将取而代之。因此，输出的序列与基线贪心解码完全相同，因此基准测试准确率（pass@1 或精确匹配）没有变化。

在 CPU 和 GPU 上的推理加速

我们为 LFM2.5 提供的 DSpark 草稿模型首日支持 llama.cpp（其实现构建在官方代码库之上，我们使用实验性 Metal 内核运行）和 SGLang（其实现构建在 SGLang 的官方 DSpark 实现之上）。

我们使用 llama.cpp 和 Metal，在配备 M4 Max 芯片的 MacBook Pro 上，使用 FP16 GGUF 权重和最多 256 个输出令牌，测量设备端吞吐量。我们使用 SGLang，在单张 H100 80GB 显卡上使用 BF16 测量 GPU 吞吐量。两种配置均使用 DSpark 块大小为 9、批大小为 1 和温度为 0。我们在五个基准数据集上进行了评估。

所有三款草稿模型在大规模加速器（H100）和边缘部署（M4 Max MacBook）上均带来了显著的吞吐量提升。

对于 LFM2.5-2.6B，在 MacBook 上的加速尤为明显，因为它将用户可享受的交互水平远超大多数专有云模型提供的吞吐量（约 140 tok/s，取决于数据集）。

在各种多工具场景下，DSpark 为 LFM2.5-2.6B 平均降低了 57% 的延迟。

bfcl_latency_mac 图表

对于 LFM2.5-1.2B-Instruct，我们看到数据集接受率差异较大，因此加速比根据底层文本分布的不同而有高达 52% 的变化。

对于 LFM2.5-8B-A1B，与两个稠密模型相比，其接受率有所提高，但在设备端平均仅获得 18% 的提升。这种差距是由于 llama.cpp 的 Metal 后端中当前的 MoE 实现所致，并且因为验证 k 个令牌会激活更多专家，从而比单个解码步骤产生更多的权重流量。

如何使用 LFM2.5-DSpark

使用 SGLang 运行 DSpark 草稿模型需要构建包含对 LFM2 目标支持的 DSpark 的 SGLang 版本（PR #31041）。启动目标模型并附带草稿：

python -m sglang.launch_server \
  --model-path LiquidAI/LFM2.5-2.6B \
  --speculative-algorithm DSPARK \
  --speculative-draft-model-path LiquidAI/LFM2.5-2.6B-DSpark \
  --speculative-draft-attention-backend flashinfer \
  --disable-radix-cache --mem-fraction-static 0.75 --port 30000

然后查询 http://localhost:30000/v1 处的 OpenAI 兼容端点。块大小从草稿的 config.json 中读取；基线是没有三个 --speculative-* 标志的相同命令。

使用 llama.cpp 运行它们需要相应的 llama.cpp 构建版本（PR#27383）。

llama-server -m LFM2.5-2.6B-F16.gguf \
  -md LFM2.5-2.6B-DSpark-F16.gguf \
  --spec-type draft-dspark --spec-draft-n-max 10 --spec-draft-n-min 0 \
  -fa on -ngl 99

块大小从侧载元数据中读取（n-max 被钳制到该值）。推测解码是精确的：目标验证每个提议的令牌，因此贪心输出与单独使用目标模型时相同；每次响应的 timings 会报告 draft_n/draft_n_accepted。

快速开始

DSpark 草稿模型检查点已在 Hugging Face 上提供，格式为 Safetensors 和 GGUF：

• Safetensors：LFM2.5-2.6B-DSpark、LFM2.5-1.2B-Instruct-DSpark 和 LFM2.5-8B-A1B-DSpark
• GGUF：LFM2.5-2.6B-DSpark-GGUF、LFM2.5-1.2B-Instruct-DSpark-GGUF、LFM2.5-8B-A1B-DSpark-GGUF

我们迫不及待想看到你们构建的产品。

引用

如需引用，请使用以下参考文献或 BibTeX：

Liquid AI, “LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook”, Liquid AI Blog, Aug 2026.

@article{liquidAI2026dspark,
  author = {Liquid AI},
  title = {LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm2.5-dspark},
}