ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF · Hugging Face

来源：https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF

Swift 1.5 Qwen3.8-27B · GSQ-RCO

Swift 1.5 Qwen3.8-27B（https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b）的紧凑型混合精度 GGUF 量化版本，并使用 ISTA-DASLab 的 GSQ-RCO 发布（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF）中的逐张量分配方案，进行了面向 Swift 的专门精调。

Swift 1.5 以 Swift 1.0 为基础，通过针对长时程、智能体（agentic）与代码任务的后训练，在提升整体性能的同时使用了更少的思考 token。关于模型的训练方法与基准测试结果，请参见原始模型卡。这些模型层面的基准测试与下文的量化测量结果是相互独立的。

Swift 1.5 在思考 token 减少 58.5%的情况下，得分仍比基座模型高 0.35%，在若干任务上实现了9.18 倍的加速。

可用量化版本

每个层级（tier）均为单个 GGUF 文件。文件大小采用十进制 GB；运行时内存还包含上下文缓存与计算缓冲区。层级名称表示混合精度分配配置，而非所有张量都使用同一种数据类型。

可选的 -mtp 文件保留了对应的精调后模型张量，并额外包含 MTP 头。它们需要运行环境支持该模型的 MTP 实现。此处的 KLD 结果是在标准文件上测得的；MTP 的解码速度与质量尚未单独评估。

确切的文件标识记录在 release-manifest.json 与 SHA256SUMS 中。

评估

KLD 衡量的是量化模型的下一 token 分布与 Swift 1.5 BF16 之间的散度，数值越低越好。开发阶段的测量使用 wiki.test.raw，包含 100 个片段，上下文长度为 512 token。开发数据用于指导精调，不构成独立验证。

下方的留出（held-out）结果使用了 C4 散文、CodeParrot 代码、GSM8K 数学文本以及多语言 mC4 文本。散文／代码／数学各使用 100 个片段；德语／法语／西班牙语／中文各使用 25 个片段，上下文长度均为 512。这些是分布层面的 KLD 测量，而非任务准确率或数学基准测试分数。

所有四个精调后的文件，在全部七个报告领域中的 KLD 均优于各自对应的 Swift 起始量化版本。但结果并非在所有方面都优于 ISTA 的对比量化版本：数学文本的 KLD 高出 4.9%–7.7%，且 IQ3_S 在七个领域中有五个更高。ISTA 的对比是将每个量化版本与其自身的 BF16 模型进行比较；它们并非 Swift 与 Qwen 之间直接的任务排名，也不能证明二者能力等同。

完整结果表包含与之匹配的 Swift 起始量化版本、ISTA 对比结果以及报告的误差估计。评估元数据将各项结果与确切的发布文件标识绑定。我们针对校准／开发文本执行了词面重叠筛查；该筛查不能建立语义去重，也不能证明不存在过拟合。这些 512 token 的测试无法证明模型在 32K 或更长上下文下的质量。

使用方法

请使用支持 Qwen3.8 的 llama.cpp 构建版本。该仓库当前为私有状态，请使用被授予访问权限的账号进行身份验证。

hf download ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf --local-dir .

llama-server \
  -m Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf \
  --jinja -fa on -ngl 99 -c 262144 \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \
  --presence-penalty 0.0 --repeat-penalty 1.0 --port 8000

请根据可用内存设置上下文长度。示例中的上下文设置并不代表这些量化版本是在该长度下进行评估的。

本发布提供的是语言模型的 GGUF 文件。本次发布尚未验证 Swift 的 27B 视觉投影器，因此未包含任何投影器或经过验证的视觉示例。

量化流程

1. 对每个对应的 Qwen3.8-27B 层级，复用 ISTA GSQ-RCO 已发布的逐张量分配方案。
2. 使用 Swift V1MIX 重要性矩阵与所选分配方案，对 Swift 1.5 权重进行量化。
3. 应用面向 Swift 的 GSQ 精调。IQ2_XS 与 IQ3_XXS 使用保留的固定目标（fixed-objective）变体；IQ2_S 与 IQ3_S 使用其保留的 V1MIX 变体。
4. 确定确切的文件标识，运行报告中所述的评估，并保留相应的 MTP 包。

本次发布复用了 ISTA 的分配搜索结果，并未声称在 Swift 上进行了新的 RCO 搜索。存档的配方记录记录了构建设置与历史候选方案；发布清单则标明了最终选用的文件。Swift 重要性矩阵已包含在 imatrix-swift15-v1mix.gguf 中。

全部八个文件的逐张量分配结果均收录在 tensor-allocation 目录下。每份导出文件都记录了模型的 SHA256、张量数量与类型直方图。MTP 导出文件包含 851 个模型张量，外加 15 个头部张量。

方法与致谢

GSQ 与 RCO 由奥地利科学技术研究院（Institute of Science and Technology Austria）的 Deep Algorithms and Systems Lab 开发。本次 Swift 适配由 UkisAI 完成。

• **GSQ：**论文（https://arxiv.org/abs/2604.18556）· 代码（https://github.com/IST-DASLab/GSQ）
• **RCO：**论文（https://arxiv.org/abs/2605.00649）· 代码（https://github.com/IST-DASLab/RCO）
• **GGUF 运行时与转换：**llama.cpp（https://github.com/ggml-org/llama.cpp）

我们感谢 Qwen 团队开发的原始模型、ISTA-DASLab 的量化方法与已发布的分配方案，以及 NVIDIA Innovation Lab、AWS 和 Google Cloud 对 Swift 开发提供的支持。

许可与访问

这些经过适配的权重依据 Swift Open License v1.0 分发。原始的 Qwen 组件保留其 Apache 2.0 许可与 NOTICE。适用条款及企业授权信息请参见 Swift 许可文件。