Sabi-Noema：面向能力与效率的 Qwen 3.8 27B 微调模型

Reddit r/LocalLLaMA 模型
open-source fine-tuning reasoning efficiency qwen kv-cache coding

摘要

发布了 Qwen 3.8 27B 的两个后训练版本 Sabi-Noema 与 Sabi-Noema-MLA，在代码、智能体和工具调用能力上有所提升，同时将回答冗长度和推理 token 消耗减少约一半，并通过无需训练的 MLA 注意力转换将 KV cache 最多压缩 8.4 倍。

tl;dr：全新的 Qwen 微调版本，在小模型能力与推理效率两方面同时突破前沿。大家好，我们发布了 Qwen 3.8 27B 的两个后训练版本，分别名为 Sabi-Noema 和 Sabi-Noema-MLA。这些模型将 <30B 参数规模模型的能力前沿向前推进，回答冗长度减少 2 倍，且完全在开源环境中训练。这些模型在编码、智能体和工具调用任务上能力更强，幻觉也更少。Sabi-Noema 在 DeepSWE 上超越了 GPT 6 Luna-medium，成绩介于 Luna 6 medium 和 high 之间。在 TB2.1、Tau-3 bench、ClawEval 和 BFCL v4 等智能体与工具调用基准测试中，它超越了 Luna-high。其幻觉率显著低于 Luna、Qwen 及其他同类模型。https://preview.redd.it/3ls45pejthvh1.png?width=1760&format=png&auto=webp&s=a6f6197e3a800add3aab3ddf00e110316b4476b0 这些模型的推理效率也高得多。与基础 Qwen 相比，Sabi-Noema 在 TB2.1 上每次响应生成的 token 数量减少 50%，在 DeepSWE 上减少 25%。Sabi-Noema-MLA 更进一步，对 Qwen 的 GQA 注意力机制进行了事后 MLA 转换。该转换仅使用校准数据集，无需额外训练。使用 BF16 latent 时，Sabi-Noema-MLA 每 token 所需字节数减少 3.6 倍。MLA latent 还可以进一步压缩为 FP8，在 TB2.1 上使 KV cache 总大小缩小至 8.4 倍，同时性能基本相当。举个例子，在 24GB 显存的 3090/4090 上使用 q4_0 量化运行 Sabi-Noema-MLA 时，上下文长度可达约 534K，而基础 Qwen 即使使用 FP8 cache 也只能达到约 150K 上下文。https://preview.redd.it/es8zpekkthvh1.png?width=1760&format=png&auto=webp&s=3fe3739796f76e424aaaad8bc2c1ef5284fe6752 我们非常期待开源社区能够体验和使用这些模型。未来我们还将发布更多后训练版本，专注于让 <30B 参数规模的模型变得更强大。HuggingFace：Sabi-Noema：https://huggingface.co/sabicap/sabi-noema，Sabi-Noema-MLA：https://huggingface.co/sabicap/sabi-noema-mla
查看原文

相似文章

Saluki 27B：「性能达 Qwen 3.8 的 96%，体积仅约 1/7」

Reddit r/LocalLLaMA

Underdog AI 发布了 Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本，文件仅 7.89 GB，可在 16GB 笔记本上通过标准 llama.cpp 运行，在其自建的 Underdog Bench 工具调用测试中取得 88/120 的成绩，保留了原模型约 96% 的性能。