UkisAI Swift GLM5.3 + GSQ-RCO，Swift Ornith 9B / 在最高推理强度下，Token 用量减少 57.7%，准确率损失低于 1%

大家好，我是 UkisAI 的 Jovan。今天，我们为 Swift 模型系列新增了两款社区期待的模型。我们找出了与病态过度思考相关的 token，并对其施加惩罚，而不是直接“压制”推理长度，从而提升了 Swift GLM-5.3-Flash 和 Swift Ornith 9B 的效率。随后，我们通过进一步的后训练恢复准确率，利用强化学习（RL）和同策略蒸馏，让模型适应更少的推理，在保持准确率的同时“压缩”token 用量。你可以在这里找到我们的数据集（不过我们会针对每个模型重新采样），并在这里进一步了解我们的训练方法。Swift1.5 GLM-5.3-Flash 最亮眼的数据是：思考 token 减少了 61.4%（在 MMLU-PRO 上），而在我们测量的所有基准测试中，准确率平均仅下降 0.46%。所有测试均使用不同随机种子运行了 5 次（Terminal-Bench 2.1、DeepSWE v1.1、GPQA-Diamond、MMLU-Pro、C-Eval、IFBench、AIME 2026、HMMT、LiveCodeBench v6）。对于这款模型，我们发布了非常全面的量化版本，包括 GGUF（1 位至 8 位）、W4A16AWQ、NVFP4，同时也在独立复现 GSQ-RCO 论文。目前的研究结果表明，我们的 Q3 GSQ-RCO 在同等大小下达到了最先进水平，因此我们将在完成评测套件运行后的几天内发布它。提供 1 位至 8 位量化的 GGUF：https://huggingface.co/ukisai/Swift-1.5-GLM-5.3-Flash-GGUF 。另一款则是社区很喜欢的模型（至少对显存较少的朋友来说如此）Swift1.5 Ornith-9B：思考 token 用量减少了 33.5%，准确率没有损失，但更重要的是，过度思考循环约减少了一半。这意味着，当你向模型发送提示时，它陷入循环、无法完成你所给任务的可能性会小得多。请注意，这是一个实验性版本，我们欢迎反馈，因为这款模型在我们进行 token 优化之前就已经完成了后训练。提供 4 位至 8 位量化的 GGUF：https://huggingface.co/ukisai/Swift-1.5-Ornith-9B-GGUF 。这两款模型均可搭配其基础模型的 MTP 或 DFLASH2 预测头使用。我们诚挚地邀请社区告诉我们，还有哪些模型需要提高推理效率，以及你们还希望我们制作哪些量化版本。提前透露一点：我们目前正在评测 Swift DeepSeek v4.1 Flash 1017，它似乎是我们迄今为止最好的模型！我们也在打造自己的基础模型，其中 1B 和 4B 模型预计于 2026 年 11 月发布。它们使用内部构建的多样化编程数据集进行预训练，并通过后训练实现与我们现有 Swift 模型一样的 token 高效利用。希望大家喜欢这次发布！一如既往，欢迎所有反馈，我也会尽力回应社区的每一项请求 :)