Qwen/Qwen3.8-Flash-Next-FP8 · Hugging Face 来源：https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8

此仓库包含以 Hugging Face Transformers 格式存储的、针对训练后模型的 FP8 量化权重及配置文件。这些资源与 Hugging Face Transformers、vLLM、SGLang、TokenSpeed 等框架兼容。量化方法采用分块大小为 128 的细粒度 FP8 量化，其性能指标与原始模型几乎一致。 对于寻求无需管理基础设施即可获得可扩展推理能力的用户，我们提供由 Qwen Cloud (https://www.qwencloud.com/) 提供的官方 Qwen API 服务。特别是，Qwen3.8-Flash 是基于 Qwen3.8-Flash-Next 的官方生产版本，提供了更多功能，例如默认支持 1M 上下文长度、内置官方工具等。更多信息，请参阅 Qwen3.8-Flash 概述 (https://www.qwencloud.com/models/qwen3.8-flash)。随着基础模型的前沿不断迈向更大的参数规模和更长的上下文窗口，问题已不再仅是我们能扩展到何种程度，而是我们如何高效地实现扩展。为了实现惠及所有人的通用人工智能（AGI），可持续的进步要求架构上的创新。今天，我们在此方向上迈出了一步：发布 Qwen3.8-Flash-Next。
Qwen3.8-Flash-Next 架构图 (https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.8-Flash-Next/architecture.png) 这一作为 Qwen4 架构基础的预览版，其核心在于对现代大语言模型（LLM）大规模运行时核心组件交互方式的根本性重新思考。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#highlights 亮点

在该架构下发布的第一个开源权重模型是 Qwen3.8-Flash-Next，其引入了以下特性：

• 融合 QSA 的混合注意力机制：门控 DeltaNet 与门控注意力的配对组合已重构为门控 DeltaNet 与 Qwen 稀疏注意力（QSA）。QSA 并非在单个 token 级别进行选择处理，而是在微块级别运作。这显著降低了长上下文的延迟，随着智能体工作负载在现实应用中的比重日益增加，这一提升至关重要。
• 门控残差连接：带有归一化的残差流是使深度 LLM 训练变得可管理的关键。门控残差连接通过一个逐元素、数据依赖的读取门和一个逐分支的标量写入门，来调节信息在扩宽残差流中的流动。这在跨层提供更精细表达能力的同时，保持了训练的稳定性并维持了低推理开销。
• N-gram 嵌入：嵌入为参数扩展提供了一个独特的轴，相比混合专家（MoE），其计算需求更少且更易于卸载。通过使用短 N-gram 进行索引，此方法使参数扩展在内存受限的加速器上变得高度高效，同时不牺牲模型质量。
• 定制化训练方案：Muon 和 AdamW 优化器被应用于特定的权重类别，以最大化效率。在重新拟合的缩放定律指导下，我们摒弃了传统的批次大小预热过程，直接从目标批次大小开始训练，这显著减少了优化器的总步数，同时安全地支持更大学习率以实现稳健收敛。
  更多详情，请参阅我们的博客文章 Qwen3.8-Flash-Next (https://qwen.ai/blog?id=qwen3.8-flash-next) 和技术报告 (https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf)。
  我们很高兴与您共同开启这一新篇章，并在我们构建下一步的过程中期待您的反馈。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#model-overview 模型概览

• 类型：带视觉编码器的因果语言模型
• 训练阶段：预训练 & 后训练
• 语言模型
  • 参数量：125B（其中 6B 激活），外加 51B N-gram 嵌入参数和 4B MTP 参数
  • 隐藏维度：2560
  • Token 嵌入：248,320（已填充）
  • N-gram 嵌入：20,000,000（二元/三元组，在第 2 层）
  • 层数：48
  • 隐藏层布局：12 × (3 × (门控 DeltaNet → MoE) → 1 × (Qwen 稀疏注意力 → MoE))
  • 门控 DeltaNet：
    • 线性注意力头数：V 为 48，QK 为 16
    • 头维度：128
  • Qwen 稀疏注意力：
    • 注意力头数：Q 为 24，KV 为 2
    • 头维度：256
    • 旋转位置嵌入维度：64
    • 索引器结构：MQA，4 个查询头和 1 个共享键头
    • 索引器头维度：128
    • 预算：512 个块或 2048 个 token
  • 混合专家
    • 专家数量：512
    • 激活专家数：10 个路由 + 1 个共享
    • 专家中间维度：640
  • 门控残差连接：
    • 分支数：4
    • 瓶颈秩：320
  • 语言模型输出：248,320（已填充）
  • MTP：1 层，采用多步训练
  • 上下文长度：原生支持 262,144，可扩展至最多 1,000,000 个 token。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#benchmark-results 基准测试结果

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#language 语言能力

1. DeepSWE 1.1：使用 Claude Code 和 mini-SWE-agent 工具评估，温度=1.0，top_p=0.95，上下文窗口 256K。我们报告两个工具中的最高分；值得注意的是，Qwen3.8-Flash-Next 在 mini-SWE-agent 上表现最佳。
2. SWE-bench Pro：除 Claude-Opus-4.6（Max）使用官方发布的分数外，所有模型均使用 Claude Code 工具评估，温度=1.0，top_p=0.95，上下文窗口 256K。我们修正了有问题的任务，并在精炼的基准上对所有基线模型进行了重新评估。
3. SWE-bench Multilingual：使用 mini-SWE-agent 工具评估，温度=1.0，top_p=0.95，上下文窗口 256K。
4. NL2Repo-Bench：使用 Claude Code 工具评估。为防止奖励作弊，我们禁用了尝试访问特定仓库的 Bash 命令，如 pip download、pip install 和 git clone。
5. CoWorkBench：一个内部协作基准，用于评估跨计算机科学、金融、法律、医疗及其他生产力领域的长期办公和生产力智能体任务。
6. HLE：由 GPT-4o 裁决。
7. 每行最佳结果以粗体显示。
8. 空单元格（-）：分数尚不可用或不适用。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#vision-language 视觉语言能力

1. ClawEval-MM：分数报告为 “pass@3 / 平均分”。Pass@3 衡量至少在三次试验中通过一次的百分比，平均分是三次试验的平均分数。
2. RecreationBench：一个内部的长期应用重现基准，用于评估混合智能体能力，涵盖五个平台——桌面（Ubuntu、macOS、Windows）、移动设备（Android）和 Web。
3. OSWorld 2.0：分数报告为 “二进制 / 部分”。二进制分数是获得完整任务奖励的任务百分比，部分分数是所有任务中获得的部分奖励的总和。
4. Vision2Web：分数报告为前端、网页和网站类别的平均值，使用 Claude Code 工具评估，并由 gpt-5.4-2026-03-05 裁决。
5. MathVision，CharXiv (RQ)：分数报告为 “无 CI / 有 CI”。MathVision 中的少量错误真实标签在人工验证后已修正。我们模型的分数使用固定提示进行评估，例如 “请逐步推理，并将最终答案放在 \boxed{} 中。” 对于其他模型，我们报告使用和不使用 \boxed{} 格式的运行中较高的分数。
6. 每行最佳结果以粗体显示。
7. 空单元格（-）表示分数尚不可用或不适用。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#quickstart 快速入门

为了简化集成，我们建议通过 API 使用 Qwen3.8-Flash-Next。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#serving-qwen38-flash-next 部署 Qwen3.8-Flash-Next

推理效率和吞吐量因框架而异。我们建议使用最新的框架版本，以确保最佳性能和兼容性。对于生产工作负载或高吞吐量场景，强烈推荐使用 SGLang、KTransformers 或 vLLM 等专用服务引擎。
Qwen3.8-Flash-Next 可通过流行的推理框架部署，例如：

• SGLang (https://www.sglang.io/)：Qwen3.8-Flash-Next 指南 (https://docs.sglang.io/cookbook/autoregressive/Qwen/Qwen3.8-Flash-Next)
• vLLM (https://vllm.ai/)：Qwen3.8-Flash-Next 指南 (https://recipes.vllm.ai/Qwen/Qwen3.8-Flash-Next)
• TokenSpeed (https://lightseek.org/tokenspeed/)：Qwen3.8-Flash-Next 指南 (https://lightseek.org/tokenspeed/recipes/models#qwen3-8-flash-next)

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#api-usage API 使用

Qwen3.8-Flash-Next 模型默认以思考模式运行，在生成最终响应之前会生成由 \n...\n\n 标示的思考内容。要禁用思考内容并获得直接响应，请参阅此处的示例 (https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#instruct-or-non-thinking-mode)。
我们建议为生成使用以下采样参数集：

• 思考模式：temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
• 指令（或非思考）模式：temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0
  请注意，采样参数的支持因推理框架而异。

在多轮智能体任务中，降低推理努力程度并不总是能减少总体任务完成时间。虽然它可能产生更快的单轮响应，但也可能导致分析不足、更多失败和重复重试，从而可能增加总延迟和 token 消耗。Qwen3.8-Flash-Next 支持通过 enable_thinking、preserve_thinking 和 reasoning_effort 控制思考行为。

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#chat-completions-api 聊天补全 API

聊天补全 API 可与大多数推理框架以及 Qwen Cloud (https://www.qwencloud.com/) 一起使用。开始之前，请确保已安装并配置了 API 密钥和 API 基础 URL，例如：

pip install -U openai
# 根据实际情况设置以下环境变量
export OPENAI_BASE_URL="http://localhost:8000/v1"
export OPENAI_API_KEY="EMPTY"

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#text-only-input 纯文本输入

from openai import OpenAI

# 通过环境变量配置
client = OpenAI()

messages = [
    {"role": "user", "content": "Write a Python function to merge two sorted linked lists."},
]

completion = client.chat.completions.create(
    model="Qwen/Qwen3.8-Flash-Next-FP8",
    messages=messages,
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,  # 默认开启
            "preserve_thinking": True, # 默认开启
        },
    },
    reasoning_effort="xhigh",  # 默认为 xhigh；支持的等级有 xhigh、medium 和 low
    stream=True,
    stream_options={"include_usage": True},
)

reasoning_content = ""
answer_content = ""
is_answering = False
print("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")
for chunk in completion:
    if not chunk.choices:
        print("\nUsage:")
        print(chunk.usage)
        continue
    delta = chunk.choices[0].delta
    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
        if not is_answering:
            print(delta.reasoning_content, end="", flush=True)
        reasoning_content += delta.reasoning_content
    elif hasattr(delta, "reasoning") and delta.reasoning is not None:
        if not is_answering:
            print(delta.reasoning, end="", flush=True)
        reasoning_content += delta.reasoning
    if hasattr(delta, "content") and delta.content:
        if not is_answering:
            print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")
            is_answering = True
        print(delta.content, end="", flush=True)
        answer_content += delta.content
    messages.append(
        {
            "role": "assistant",
            "content": answer_content,
            "reasoning_content": reasoning_content,
            "reasoning": reasoning_content,
        }
    )

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#image-input 图像输入

from openai import OpenAI

# 通过环境变量配置
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
                },
            },
            {
                "type": "text",
                "text": "图中四个圆的圆心在正方形的四个角上。两个大圆彼此相切，也与两个小圆相切。小圆的半径需要乘以哪个因子才能得到大圆的半径？\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$"
            },
        ],
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-Flash-Next-FP8",
    messages=messages,
)

print("Chat response:", chat_response)

https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8#video-input 视频输入

from openai import OpenAI

# 通过环境变量配置
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video_url",
                "video_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
                },
            },
            {
                "type": "text",
                "text": "在主墓室的壁龛中发现了多少个瓷罐？"
            },
        ],
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-Flash-Next-FP8",
    messages=messages,
)
# 当使用 `--media-io-kwargs '{"video": {"num_frames": -1}}'` 启动 vLLM 时，
# 视频帧采样可以通过 `extra_body` 进行配置。