ukisai/Swift-Qwen3.8-27b · Hugging Face

来源：https://huggingface.co/ukisai/Swift-Qwen3.8-27b UkisAI (https://ukisai.com/)

Swift-Qwen3.8-27B 模型

Swift-Qwen3.8-27B 是 UkisAI 基于 Qwen3.8-27B 推导出的高效推理变体。在保持性能近乎一致（损失 <1%）的前提下，其推理 token 消耗减少了 58.3%，从而在多项任务中实现了1.95 倍的速度提升。

提供的提示词是来自 LiveCodeBench v6 的一个样本。

训练方法

我们通过分析 Qwen 推理展开过程，识别出那些会触发过度思考的推理标记 token。随后，我们在 Qwen 的微调过程中，对使用这些 token 进行惩罚，从而构建了 Swift 模型。

Swift 生成的推理链更短。在我们的测试中，也观察到更少的过度思考错误。

为了实现最大收益，Swift 还整合了源自 BottleCap AI 的 ThinkingCap-Qwen3.6-27B (https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.6-27B) 的迁移学习组件。

评估范围

以下所有结果均比较了 Qwen3.8-27B BF16 基础模型与该基础模型加上 Swift 适配器后的表现。

基准测试

如何复现 服务： BF16 · vLLM 0.27.1 · Qwen3 解析器 · 上下文 262,144 · thinking xhigh。 采样： temperature 1.0 · top_p 0.95 · top_k 20 · min_p 0 · presence_penalty 0 · repetition_penalty 1。 基准测试： 每个模型五个随机种子（0-4）的平均值；Terminal-Bench 每项任务进行五次试验。

跨推理力度及与基础模型对比的效率

Qwen3.8 的 reasoning_effort 设置允许用户选择模型的思考深度。为了使 Swift 在不同设置下都有效，它需要在保持准确率接近基础模型的同时减少思考量。因此，我们测试了 xhigh、medium 和 low：在每个级别上，思考 token 的节省都持续存在。

这种效率在与基础模型自身较低力度设置的对比中也得以保持。在 GPQA-Diamond（198 道题，5 个种子，990 次配对调用）上，Swift 在 xhigh 设置下与基础模型在 xhigh 和 medium 设置下进行了比较：

Swift 以大约一半的 token 消耗保持了 xhigh 级别的准确率，尽管其 token 消耗约为 medium 级别的两倍。

量化模型

Swift 的设计用途是量化部署：更低内存占用的权重配合更短的推理链。下面的 INT4 评估显示，在 GPQA、IFBench 和 AIME 上均保持了 token 节省。在 AIME 上，Swift 达到或超越了准确率，并将输出上限失败减少了31–33%。

量化评估设置 每一行比较了相同的量化基础模型在有和没有 Swift 适配器情况下的表现。GPQA 和 AIME 使用五个随机种子；IFBench 使用每个提示四个样本和严格评分。输出上限：GPQA 100,000；IFBench 81,920；AIME 32,768。GPQA 和 IFBench 使用保存的历史基础模型运行数据。AIME 使用模板默认力度，并将截断的答案计为错误。其较短的上限使其成为与 BF16 表格不同的单独比较。

如何使用

GGUF 下载

GGUF 版本 (https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF) 适用于兼容的基于 llama.cpp 的运行时。

UkisAI API

Swift 通过一个兼容 OpenAI 的 API 提供服务，地址为 https://ukisai.com/api/swift/v1。研究目的免费，无需 API 密钥。模型 ID 为 swift。

from openai import OpenAI

client = OpenAI(base_url="https://ukisai.com/api/swift/v1", api_key="none")
response = client.chat.completions.create(
    model="swift",
    messages=[{"role": "user", "content": "用两句话解释推测解码。"}],
)
print(response.choices[0].message.content)

curl https://ukisai.com/api/swift/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "swift", "messages": [{"role": "user", "content": "你好，Swift。"}]}'

Transformers

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "ukisai/Swift-Qwen3.8-27b"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

vLLM

vllm serve ukisai/Swift-Qwen3.8-27b \
  --dtype bfloat16 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --port 8000

SGLang

或者，使用支持 Qwen3.8 的最新 SGLang 版本：

python -m sglang.launch_server \
  --model-path ukisai/Swift-Qwen3.8-27b \
  --dtype bfloat16 \
  --tp-size 1 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --port 8000

请根据您的 GPU 内存调整张量并行度和上下文长度。有关安装和特定硬件的设置，请参阅基础模型的 vLLM 配方 (https://recipes.vllm.ai/Qwen/Qwen3.8-27B) 和 SGLang 配方 (https://docs.sglang.io/cookbook/autoregressive/Qwen/Qwen3.8-27B)。

可选 MTP 解码

发布的权重包含了基础模型的 MTP 头。要启用自推测解码，请在上述服务器命令中添加相应的标志：

# vLLM
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

# SGLang
--speculative-algorithm EAGLE --speculative-num-steps 3 \
  --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

许可证与访问

Swift 权重根据 Swift 开放许可证 v1.0 分发。个人、研究、教育、评估和商业用途对年经常性收入（包括附属公司）不超过 1,000,000 美元的个人和组织免费。超过该阈值，商业使用需要单独的 Swift 企业许可证。请联系 UkisAI (https://ukisai.com/contact) 了解条款。

引用

@misc{swift-qwen3.8-27b,
  title  = {Swift-Qwen3.8-27B},
  author = {UkisAI},
  year   = {2026},
  url    = {https://huggingface.co/ukisai/Swift-Qwen3.8-27b}
}

致谢

我们感谢 NVIDIA Innovation Lab (https://www.nvidia.com/en-us/data-center/innovation-lab/) 提供 8× NVIDIA H100 GPU 用于训练 Swift。