LFM2.5-2.6B 模型+KV缓存量化报告

LFM2.5-2.6B 是 LiquidAI 推出的新款小模型，其基准测试表现可与大得多的模型一较高下。我使用许多 GGUF 模型量化与许多 KV 缓存量化交叉组合运行 llama-perplexity，以了解该模型在任意给定内存下的最佳整体量化方案。我还展示了不同的量化指标如何展示（或掩盖）模型退化。 完整报告与评论 交互式 HTML 图表 如果你没时间阅读 该模型可适配 8GB 树莓派且没有实质性退化，也可适配 4GB 树莓派但退化可控。切勿使用 Q4_K_M。在此模型上，模型量化的质量退化速度快于 KV 缓存量化。Abliteration 带来约 0.075 KLD 的固定成本。对数 KLD 和 Top-1% 图表会欺骗你，让你以为质量退化是平滑的，而实际上它是一道悬崖。