inclusionAI/Ling-3.1-flash-1019 · Hugging Face

来源：https://huggingface.co/inclusionAI/Ling-3.1-flash-1019

🤗Hugging Face (https://huggingface.co/inclusionAI)| 🤖ModelScope (https://modelscope.cn/organization/inclusionAI)| 🐙OpenRouter (https://openrouter.ai/inclusionai/ling-3.1-flash)

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#introduction简介

我们推出了 Ling-3.1-flash-1019，这是 Ling-3.1-flash (https://huggingface.co/inclusionAI/Ling-3.1-flash) 的升级版本，拥有 5600 亿总参数，每个 token 激活 250 亿参数，并支持 100 万 token 的上下文窗口。通过进一步的后训练优化，Ling-3.1-flash-1019 在推理和现实场景中的智能体能力方面取得了显著提升。其 AA-Briefcase 得分从约 1400 提升至 1524 Elo，在 AutomationBench-AA 上的表现则从 62% 提升至 68%。该模型在科学基准测试中也取得了进步，包括 CritPt（18% → 26%）和 SciCode（54% → 57%）。总体而言，它在 Artificial Analysis 智能指数 v4.3.2 上获得了 44 分，高于上一版本的 41 分。这些进步凸显了模型在各种现实场景中的复杂推理、多步骤任务执行和智能体工作流方面的能力提升。

AA-44 (https://cdn-uploads.huggingface.co/production/uploads/65d6aba7dee9f442f8ea7ded/aZ4wSjB4OCgUFnyYINngi.png)

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#model-overview模型概览

下表和示意图概述了模型的规格与架构。

架构 混合线性 MoE 参数规模 总计 5600 亿，激活 250 亿 Transformer 层 63 层 KDA + 9 层门控 MLA（7:1）稠密层数量 4 路由专家数量 512 共享专家数量 1 激活专家数量 8 注意力头数 64 隐藏层维度 4096 专家中间层维度 1280 稠密中间层维度 10240 词表大小 157184 图片 (https://cdn-uploads.huggingface.co/production/uploads/678143d4ddb1f1ce16daca8e/qwmfVu_K08auI7R_ijbIX.png)

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#quickstart快速入门

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#sglang-recommendedSGLang（推荐）

首日发布的 SGLang 镜像包含对 Ling-3.1-flash 的支持、MTP（NEXTN）推测解码以及 Hopper 解码优化：

docker pull lmsysorg/sglang:dev-ling-3.1-flash

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#run-inference运行推理

服务端（8 × H200，TP8 + EP8）：

docker run --gpus all --network host --ipc=host --rm \ lmsysorg/sglang:dev-ling-3.1-flash \ python3 -m sglang.launch_server \ --model-path inclusionAI/Ling-3.1-flash \ --tp 8 --ep 8 \ --speculative-algorithm NEXTN \ --host 0.0.0.0 --port 30000

在 4 × GB300 上，请改用 \-\-tp 4 \-\-ep 4。可通过设置 SGLANG\_ENABLE\_FP8\_BLOCK\_GEMV=1 和 SGLANG\_ENABLE\_FUSED\_KDA\_OUTPUT\_QUANT=1 启用 Hopper 解码优化（可选，批大小为 1 时的解码速度约提升 10%）。

客户端

curl -s http://localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "Ling-3.1-flash", "messages": [{"role": "user", "content": "法国的首都是哪里？"}], "chat_template_kwargs": {"enable_thinking": true}, "stream": true, "temperature": 1.0, "top_k": 20, "top_p": 0.95}'

适用于 H200、GB300、H800、H100 和 B200 的已验证配置方案，以及 HiCache（Mooncake L3）、推理开关、工具调用和实测准确率与速度数据，均收录于 SGLang Ling-3.1-flash 使用指南 (https://docs.sglang.io/cookbook/autoregressive/InclusionAI/Ling-3.1-flash)。

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#vllmvLLM

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#environment-preparation环境准备

`` pip install uv

uv venv ~/my_ling_env

source ~/my_ling_env/bin/activate

git clone -b vllm https://github.com/vllm-project/vllm.git

cd vllm

VLLM_USE_PRECOMPILED=1 uv pip install –editable . –torch-backend=auto ``

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#run-inference-1运行推理

服务端

vllm serve "$MODEL_PATH" \ --port "$PORT" \ --trust-remote-code \ --served-model-name auto \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.85 \ --enable-prefix-caching \ --enable-expert-parallel \ --mamba-cache-mode align \ --enable-auto-tool-choice \ --tool-call-parser ling3 \ --reasoning-parser ling3 \ --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

客户端 建议使用采样参数（temperature=1\.0、top\_p=0\.95、top\_k=20），并将 enable\_thinking 设置为 true，以获得更好的性能。

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "auto", "messages": [{"role": "user", "content": "法国的首都是哪里？"}], "chat_template_kwargs": {"enable_thinking": true}, "stream": true, "temperature": 1.0, "top_k": 20, "top_p": 0.95}'

https://huggingface.co/inclusionAI/Ling-3.1-flash-1019#training-content-summary训练内容摘要

标明 Ling-3.1-flash 的公开训练内容摘要可通过下方链接获取。请参阅该文档，了解其涵盖的模型版本、训练内容范围、摘要版本和更新日期。

• 训练内容摘要（PDF）(https://huggingface.co/inclusionAI/AI-Transparency/resolve/main/Ling-3.1_TDS-Summary.pdf)
• 训练内容文档索引 (https://huggingface.co/inclusionAI/AI-Transparency)

本摘要涉及训练内容披露；它不替代模型的技术文档、使用条款或许可证。