inclusionAI/Ling-3.0-flash-Sante · Hugging Face 来源：https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante 🤗Hugging Face (https://huggingface.co/inclusionAI)| 🤖ModelScope (https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-Sante)| 🐙Vercel (https://vercel.com/ai-gateway/models/ling-3.0-flash-sante) ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#introduction简介 Ling-3.0-flash-Sante是我们基于 Ling-3.0-flash (https://huggingface.co/inclusionAI/Ling-3.0-flash) 构建的医疗健康专用模型。其名称源自法语单词 santé，意为“健康”。Sante 拥有1240 亿总参数，每个 token 激活 51 亿参数，专为医学推理、医疗健康研究、深度研究和工具辅助工作流而设计，同时保留了 Ling-3.0-flash 的通用能力。模型权重已在 Hugging Face (https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante) 和 ModelScope (https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-Sante) 上提供。 > **重要提示：**Ling-3.0-flash-Sante 是研究模型，并非医疗器械。其输出可能不完整或不正确，不得用于替代专业医疗建议、诊断或治疗。高风险用途需要合格人员审核、独立验证，并遵守适用的隐私、安全和医疗健康法规。 ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#highlights亮点 - **强大的医疗健康能力：**Sante 在专业医疗健康任务、复杂医学推理、医学知识和医疗健康安全基准测试中表现出色。 - **规模化高效运行：**其混合线性 MoE 架构结合了 Kimi Delta Attention (KDA)、门控 MLA 和稀疏 MoE 层，每个 token 从 1240 亿参数中激活 51 亿参数。 - **专为长上下文构建：**训练上下文长度扩展至 256K token，支持长文档分析、证据综合和多步骤研究。 - **超越医学问答：**Sante 不仅支持问答，还专为深度研究、工具辅助工作流和多智能体协作而设计。 - 原生推理与工具使用：默认启用思考模式，并通过兼容的推理服务框架支持工具调用。 ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#evaluation评估 我们在专业医疗健康任务、医学知识与安全、复杂推理、深度研究、多智能体协作和工具辅助智能体基准测试中评估 Ling-3.0-flash-Sante。下表汇总了评估图中展示的结果。 评估设置 - 除非另有说明，Ling-3.0-flash-Sante 在所有基准测试中均使用 temperature=1\.0 和 top\_p=0\.95 进行评估。 - 所有参与比较的模型均将推理强度设为最高档。 - AFUMED-Drug 侧重用药安全，评估模型在用药禁忌方面的准确性。 - AFUSAFE-MedSCE 衡量医疗健康回答的整体安全水平。 - MedMCQA 使用标准验证集。 - BrowseComp 使用 256K 上下文窗口、temperature=1\.0、top\_p=0\.95，最多进行 1,000 轮交互。单智能体设置采用全部丢弃的上下文管理策略，在上下文使用率达到 40% 时触发。多智能体设置采用内部开发的运行框架，每项任务最多可调度 64 个子智能体。 - 带工具的 HLE 和 DeepSearchQA 使用 256K 上下文窗口、temperature=1\.0 和 top\_p=0\.95，不采用上下文管理策略。 - Tau3-Banking 使用官方 Tau 评估集，工具访问权限仅限于 terminal\_use 工具。 ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#quickstart快速入门 官方模型标识符为 inclusionAI/Ling\-3\.0\-flash\-Sante。 ### https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#sglangSGLang 使用兼容 Ling-3.0 的 SGLang 镜像： docker pull lmsysorg/sglang:dev-Ling-3.0-flash 以下示例在四块 141GB 级 GPU 或兼容的四 GPU Blackwell 节点上启动一个具有 256K 上下文窗口、兼容 OpenAI 的服务器： docker run --rm --gpus all --ipc=host --shm-size 32g \ -p 30000:30000 \ -e HF_TOKEN= \ lmsysorg/sglang:dev-Ling-3.0-flash \ env SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 \ python3 -m sglang.launch_server \ --model-path inclusionAI/Ling-3.0-flash-Sante \ --tp 4 \ --context-length 262144 \ --speculative-algorithm NEXTN \ --mem-fraction-static 0.8 \ --host 0.0.0.0 \ --port 30000 在 H100 或 H800 等 80GB GPU 上，使用 \-\-tp 8，其余核心设置相同。通过兼容 OpenAI 的 API 发送请求： curl -s http://localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "inclusionAI/Ling-3.0-flash-Sante", "messages": [ { "role": "user", "content": "总结这份临床摘要中的证据，并指出其主要终点。" } ], "stream": true, "temperature": 0.6, "top_k": 20, "top_p": 0.95 }' 聊天模板默认启用思考。若要针对单个请求禁用思考，请设置： {"chat_template_kwargs": {"enable_thinking": false}} ### https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#vllmvLLM 安装支持 Ling-3.0 的新版 vLLM： pip install uv uv venv ~/my_ling_env source ~/my_ling_env/bin/activate git clone https://github.com/vllm-project/vllm.git cd vllm VLLM_USE_PRECOMPILED=1 uv pip install --editable . --torch-backend=auto 启动模型服务器。建议使用 MTP 以降低延迟： vllm serve inclusionAI/Ling-3.0-flash-Sante \ --port "$PORT" \ --trust-remote-code \ --served-model-name ling-3.0-flash-sante \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.85 \ --enable-prefix-caching \ --mamba-cache-mode align \ --enable-auto-tool-choice \ --tool-call-parser ling3 \ --reasoning-parser ling3 \ --speculative-config '{"method":"mtp","num_speculative_tokens":3}' 客户端请求示例： curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "ling-3.0-flash-sante", "messages": [ { "role": "user", "content": "比较这两份研究方案中的纳入标准。" } ], "chat_template_kwargs": {"enable_thinking": true}, "stream": true, "temperature": 0.6, "top_k": 20, "top_p": 0.95 }' ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#intended-use预期用途 Ling-3.0-flash-Sante 适用于以下研究与开发场景： - 经人工审核的医学与医疗健康问答。 - 文献检索、证据综合和科学深度研究。 - 长文档分析与结构化信息提取。 - 医疗健康知识库与检索增强生成应用。 - 工具辅助研究和多智能体医疗健康工作流。 - 领域专用 AI 智能体的评估与开发。 ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#limitations-and-responsible-use局限性与负责任使用 - 模型可能生成虚构、过时、不完整或不安全的医学信息。 - 不得让模型独立进行诊断、开具处方、分诊或作出治疗决策。 - 用于临床或其他高风险用途的输出，需要由合格专业人员审核，并依据权威来源进行核实。 - 用户有责任保护个人健康信息，并遵守适用的隐私、数据治理、安全和医疗器械要求。 - 性能可能因语言、专科、人群、机构和部署配置而异。基准测试结果并不保证实际临床表现。 - 工具访问和多智能体执行会引入额外风险。请使用遵循最小权限原则的凭据、可审计的操作，并对会产生重大影响的操作实施人工审批。 ## https://huggingface.co/inclusionAI/Ling-3.0-flash-Sante#