LFM2.5 Q4_0 量化感知蒸馏检查点发布

来源：https://huggingface.co/blog/LiquidAI/qad 返回文章列表 (https://huggingface.co/blog)

Aditya Tadimeti 的头像 (https://huggingface.co/adityatadimeti) Leonie Monigatti 的头像 (https://huggingface.co/iamleonie)

• 基准测试结果
• 真实边缘硬件上的速度与尺寸
• 如何使用 QAD GGUF
• QAD GGUF 入门指南
• 引用方式

今天我们发布 QAD Q4_0 GGUF 文件。这些是针对 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 更新的4位检查点，使开发者能够在 Q4_0 级别的内存占用和速度下运行 LFM2.5 模型，同时避免通常的质量下降：

• 采用量化感知蒸馏训练：将高精度教师模型蒸馏到量化学生模型中
• 保持与原生 Q4_0 相同的内存占用和速度：继承了 Q4_0 GGUF 的低内存占用与高吞吐量特性
• 性能恢复：恢复因量化导致的 BF16 平均精度损失的 97%

基准测试结果

我们针对四个模型，将其通过训练后量化生成的官方 GGUF 与训练后的 QAD Q4_0 检查点，在包含推理、指令遵循、工具使用和智能体能力的基准测试套件上进行对比：GPQA Diamond、MMLU-Pro、IFEval、IFBench、Multi-IF 和 BFCLv4。BF16 GGUF 作为精度上限参考。同时添加了适合模型规模的数学评估：LFM2.5-230M 和 LFM2.5-350M 使用 GSM8K，LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 使用 AIME25。结果为五次重复测试的平均值。

在所有四个模型上，QAD 显著提升了 Q4_0 检查点的性能。QAD 检查点分别保留了其 BF16 基线性能的 97.1%、96.5%、97.4% 和 96.6%。

真实边缘硬件上的速度与尺寸

我们在 MacBook Pro、NucBox EVO-X2、Samsung Galaxy S26 Ultra 和 Raspberry Pi 5 这四种目标设备上测量了 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 的解码吞吐量。MacBook Pro 和 NucBox 使用 GPU 推理，Samsung 和 Raspberry Pi 使用 Arm CPU 推理。BF16 和 F16 作为全精度参考数据展示（在可测试的设备上）。

230M 和 350M 的 QAD Q4_0 检查点在评估方差范围内达到了 Q5_K_M 的质量，同时解码吞吐量提高了 4-33%。1.2B 和 2.6B 的 QAD Q4_0 检查点在吞吐量提高 3-14% 的情况下，达到了 Q4_K_M 的质量。QAD Q4_0 检查点也匹配了 Unsloth 的 UD-Q4_K_XL（在适用的情况下，即 230M 和 1.2B），这是一个强大的外部训练后量化检查点。

如何使用 QAD GGUF

使用 llama.cpp 或任何支持 GGUF Q4_0 格式的运行时来运行这些文件。

llama-cli -hf LiquidAI/LFM2.5-350M \
  --hf-file LFM2.5-350M-QAD-Q4_0.gguf \
  -p "What is C. elegans?"

QAD GGUF 入门指南

QAD GGUF 文件现已在 Hugging Face 上发布： LFM2.5-230M、 LFM2.5-350M、 LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B。

我们期待看到您构建的应用。

引用方式

如需引用，请使用以下参考文献或 BibTeX：

Liquid AI, "LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment", Liquid AI Blog, Aug 2026.

或使用 BibTeX 引用：

@article{liquidAI2026Q40,
  author = {Liquid AI},
  title = {LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/qad},
}