MedAIBase/AntAngelMed · Hugging Face

来源：https://huggingface.co/MedAIBase/AntAngelMed

https://huggingface.co/MedAIBase/AntAngelMed#

欢迎使用下方 API 链接体验模型（Feel free to try out the model using the API below）：https://antangelmed.tbox.cn/

https://huggingface.co/MedAIBase/AntAngelMed#-1

English | 中文 (https://modelscope.cn/models/MedAIBase/AntAngelMed/file/view/master/README_zh-CN.md?status=1) | 🤗Hugging Face (https://huggingface.co/MedAIBase/AntAngelMed) | 🤖ModelScope (https://modelscope.cn/models/MedAIBase/AntAngelMed) | 🐙 (https://github.com/MiniMax-AI/MiniMax-M2.1)Github (https://github.com/MedAIBase/AntAngelMed)

HuggingFace: https://huggingface.co/MedAIBase/AntAngelMed

ModelScope: https://modelscope.cn/models/MedAIBase/AntAngelMed

Github: https://github.com/MedAIBase/AntAngelMed

https://huggingface.co/MedAIBase/AntAngelMed#-2

量化版本：🤗Hugging Face (https://huggingface.co/MedAIBase/AntAngelMed-FP8) | 🤖ModelScope (https://modelscope.cn/models/MedAIBase/AntAngelMed-FP8)

HuggingFace: https://huggingface.co/MedAIBase/AntAngelMed-FP8

ModelScope: https://modelscope.cn/models/MedAIBase/AntAngelMed-FP8

https://huggingface.co/MedAIBase/AntAngelMed#-3

https://huggingface.co/MedAIBase/AntAngelMed#introductionIntroduction

AntAngelMed 正式开源！🚀

AntAngelMed 由浙江省卫生健康信息中心、蚂蚁医健以及浙江省安诊儿医学人工智能科技有限公司联合开发，是迄今为止最大且最强大的开源医疗语言模型。

https://huggingface.co/MedAIBase/AntAngelMed#core-highlightsCore Highlights

• 🏆在权威基准上表现世界领先：AntAngelMed 在 OpenAI 的 HealthBench 上超越了所有开源模型及众多顶级闭源模型，并在中国权威基准 MedAIBench 上综合排名第一。
• 🧠先进的医疗能力：AntAngelMed 通过严格的三阶段训练流程实现其专业医疗能力：在医疗语料上进行持续预训练、使用高质量指令进行监督微调，以及基于 GRPO 的强化学习。这一过程赋予了模型深厚的医疗知识、复杂的诊断推理能力，以及对安全和伦理的严格遵循。
• ⚡极高的推理效率：借助 Ling-flash-2.0 (https://arxiv.org/abs/2507.17702) 的高效率 MoE 架构，AntAngelMed 在仅激活 6.1B 参数（总参数 100B）的情况下，即可媲美约 40B 稠密模型的性能。它在 H20 硬件上实现了超过 200 tokens/s 的推理速度，并支持 128K 上下文长度。

https://huggingface.co/MedAIBase/AntAngelMed#%F0%9F%93%8A-benchmark-results**📊**基准测试结果

https://huggingface.co/MedAIBase/AntAngelMed#healthbenchHealthBench

HealthBench (https://arxiv.org/abs/2505.08775) 是由 OpenAI 发布的开源医疗评估基准，旨在通过高度模拟的多轮对话来评估大语言模型（LLM）在真实医疗环境中的表现。AntAngelMed 在该基准上取得了优异的成绩，在所有开源模型中排名第一，特别是在具有挑战性的 HealthBench-Hard 子集上优势显著。

图 | AntAngelMed 在 HealthBench 上位居开源模型第一

https://huggingface.co/MedAIBase/AntAngelMed#medaibenchMedAIBench

MedAIBench (https://www.medaibench.cn/) 是由国家人工智能医疗行业应用先导区开发的权威医疗 LLM 评估系统。AntAngelMed 同样跻身顶级行列，展现出强大的综合专业性和安全性，尤其在医疗知识问答和医疗伦理/安全方面表现突出。

图 | AntAngelMed 在 MedAIBench 上跻身顶级行列

https://huggingface.co/MedAIBase/AntAngelMed#medbenchMedBench

MedBench (https://arxiv.org/abs/2511.14439) 是一个科学严谨的基准，旨在评估中文医疗领域的大语言模型。它包含 36 个独立构建的评估数据集，涵盖约 70 万个样本。AntAngelMed 在 MedBench 排行榜上位居第一，并在五个核心维度上领先：医疗知识问答、医疗语言理解、医疗语言生成、复杂医疗推理以及安全与伦理，突显了模型的专业性、安全性和临床适用性。

图 | AntAngelMed 在 MedBench 排行榜上位居第一。

https://huggingface.co/MedAIBase/AntAngelMed#%F0%9F%94%A7-technical-features🔧 技术特点

https://huggingface.co/MedAIBase/AntAngelMed#professional-three-stage-training-pipeline专业的三阶段训练流程

AntAngelMed 采用精心设计的三阶段训练过程，将通用能力与医疗专业知识深度融合：

• **持续预训练：**基于 Ling-flash-2.0，AntAngelMed 使用大规模、高质量的医疗语料（百科全书、网络文本、学术出版物）进行持续预训练，注入深厚的领域和世界知识。
• **监督微调（SFT）：**在此阶段构建了多源异构的高质量指令数据集。通用数据（数学、编程、逻辑）增强了 AntAngelMed 的核心思维链能力，而医疗场景（医患问答、诊断推理、安全/伦理）则提供了深度适配，以提升临床性能。
• **强化学习（RL）：**使用 GRPO (https://arxiv.org/pdf/2402.03300) 算法和特定任务的奖励模型，RL 精确塑造模型行为——强调共情、结构清晰和安全边界，并鼓励在复杂案例上进行循证推理，以减少幻觉并提高准确性。

图 | 专业的三阶段训练流程

https://huggingface.co/MedAIBase/AntAngelMed#efficient-moe-architecture-with-high-speed-inference具有高速推理的高效 MoE 架构

AntAngelMed 继承了 Ling-flash-2.0 的先进设计。在 Ling Scaling Laws (https://arxiv.org/abs/2507.17702) 的指导下，该模型采用1/32 激活率的 MoE，并在专家粒度、共享专家比例、注意力平衡、无辅助损失 + sigmoid 路由、MTP 层、QK-Norm 和 Partial-RoPE 等核心组件上进行了全面优化。

这些改进使得小激活 MoE 模型相比同等大小的稠密架构最高可实现7倍 的效率提升。换句话说，AntAngelMed 仅激活 6.1B 参数即可媲美 ~40B 稠密模型的性能。得益于其较小的激活参数量，AntAngelMed 提供了显著的速度优势：

• 在 H20 硬件上，推理速度超过200 tokens/s——比 36B 稠密模型快约 3倍。
• 通过YaRN 外推技术，它支持128K 上下文长度；随着输出长度的增加，相对速度提升可达 7 倍或更多。

图 | 模型架构图 (https://huggingface.co/inclusionAI/Ling-flash-2.0) (https://intranetproxy.alipay.com/skylark/lark/0/2025/png/1591/1764724109582-56e0ca94-e8fd-4f49-a233-f9afe9e12801.png)

我们还通过采用FP8 量化结合 EAGLE3 优化，专门针对 AntAngelMed 的推理加速进行了优化。在 32 并发下，与单独使用 FP8 相比，该方法显著提升了推理吞吐量，在 HumanEval 上提升71%，在 GSM8K 上提升45%，在 Math-500 上最高提升94%。这在推理性能和模型稳定性之间实现了稳健的平衡。

https://huggingface.co/MedAIBase/AntAngelMed#quickstartQuickstart

https://huggingface.co/MedAIBase/AntAngelMed#deployment-configurationDeployment Configuration

https://huggingface.co/MedAIBase/AntAngelMed#%F0%9F%A4%97-hugging-face-transformers🤗 Hugging Face Transformers

以下代码片段展示了如何使用 transformers 库调用聊天模型：

`` from transformers import AutoModelForCausalLM, AutoTokenizer model_name = “MedAIBase/AntAngelMed” # model_id 或 your_local_model_path model = AutoModelForCausalLM.from_pretrained( model_name, device_map=“auto”, trust_remote_code=True, ) tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = “如果我头疼该怎么办？” messages = [ {“role”: “system”, “content”: “你是 AntAngelMed，一个乐于助人的医疗助手。”}, {“role”: “user”, “content”: prompt} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors=“pt”, return_token_type_ids=False).to(model.device) generated_ids = model.generate( **model_inputs, max_new_tokens=16384, ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] print(response) ``

https://huggingface.co/MedAIBase/AntAngelMed#%F0%9F%A4%96-modelscope🤖 ModelScope

如果您在中国大陆，我们强烈建议您使用 🤖ModelScope (https://modelscope.cn/organization/MedAIBase) 来使用我们的模型。

https://huggingface.co/MedAIBase/AntAngelMed#deployment—on-nvidia-a100Deployment - on Nvidia A100

https://huggingface.co/MedAIBase/AntAngelMed#vllmvLLM

vLLM 支持离线批量推理或启动兼容 OpenAI 的 API 服务以进行在线推理。

https://huggingface.co/MedAIBase/AntAngelMed#environment-preparationEnvironment Preparation

请准备以下环境：

pip install vllm==0.11.0

https://huggingface.co/MedAIBase/AntAngelMed#inferenceInference

`` from modelscope import AutoTokenizer from vllm import LLM, SamplingParams

def main(): model_path = “MedAIBase/AntAngelMed” # model_id 或 your_local_model_path tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) sampling_params = SamplingParams( temperature=0.6, top_p=0.95, top_k=20, repetition_penalty=1.05, max_tokens=16384, ) llm = LLM( model=model_path, trust_remote_code=True, dtype=“bfloat16”, tensor_parallel_size=4, )

prompt = "如果我头疼该怎么办？" 
messages = [
    {"role": "system", "content": "你是 AntAngelMed，一个乐于助人的医疗助手。"},
    {"role": "user", "content": prompt},
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
outputs = llm.generate([text], sampling_params)
print(outputs[0].outputs[0].text)

if name == “main”: main() ``

https://huggingface.co/MedAIBase/AntAngelMed#sglangSGLang

https://huggingface.co/MedAIBase/AntAngelMed#environment-preparation-1Environment Preparation

准备以下环境：

pip install sglang -U

您也可以使用 Docker 镜像：

docker pull lmsysorg/sglang:latest

https://huggingface.co/MedAIBase/AntAngelMed#run-inferenceRun Inference

SGLang 支持 BF16 和 FP8 模型，具体取决于 \{MODEL\_PATH\} 中模型的 dtype。它们使用相同的命令：

• 启动服务器：

SGLANG_USE_MODELSCOPE=true python -m sglang.launch_server \ --model-path $MODLE_PATH \ --host 0.0.0.0 --port $PORT \ --trust-remote-code \ --attention-backend fa3 \ --tensor-parallel-size 4 \ --served-model-name AntAngelMed

• 客户端：

curl -s http://localhost:${PORT}/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "auto", "messages": [{"role": "user", "content": "如果我头疼该怎么办？"}]}'

更多用法请参见此处 (https://docs.sglang.ai/basic_usage/send_request.html)。

https://huggingface.co/MedAIBase/AntAngelMed#deployment—on-ascend-910bDeployment - on Ascend 910B

https://huggingface.co/MedAIBase/AntAngelMed#vllm-ascendvLLM-Ascend

vLLM-Ascend (vllm-ascend) 是一个社区维护的硬件后端，使 vLLM 能够在 Ascend NPU 上运行。

https://huggingface.co/MedAIBase/AntAngelMed#environment-preparation-2Environment Preparation

我们推荐使用 Ascend Atlas 800I A2 服务器的 64*8GB 内存版本来运行此模型。

我们建议使用 Docker 进行部署。请按照以下步骤准备环境：

docker pull quay.io/ascend/vllm-ascend:v0.11.0rc3

接下来，您可以通过运行以下命令启动并进入容器，然后在容器内执行后续操作。

`` NAME=your container name MODEL_PATH=put your absolute model path here if you already have it locally.

docker run -itd –privileged –name=$NAME –net=host
–shm-size=1000g
–device /dev/davinci0
–device /dev/davinci1
–device /dev/davinci2
–device /dev/davinci3
–device /dev/davinci4
–device /dev/davinci5
–device /dev/davinci6
–device /dev/davinci7
–device=/dev/davinci_manager
–device=/dev/hisi_hdc
–device /dev/devmm_svm
-v /usr/local/dcmi:/usr/local/dcmi
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info
-v /etc/ascend_install.info:/etc/ascend_install.info
-v /usr/local/sbin:/usr/local/sbin
-v /etc/hccn.conf:/etc/hccn.conf
-v MODEL_PATH:MODEL_PATH
quay.io/ascend/vllm-ascend:v0.11.0rc2
bash

docker exec -u root -it $NAME bash ``

对于 vLLM 的离线和在线推理，请确保在执行之前在终端中配置以下环境变量：

export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True export HCCL_OP_EXPANSION_MODE="AIV" export NPU_MEMORY_FRACTION=0.97 export TASK_QUEUE_ENABLE=1 export OMP_NUM_THREADS=100 export ASCEND_LAUNCH_BLOCKING=0 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 #您可以使用 ModelScope 镜像加速下载： export VLLM_USE_MODELSCOPE=true

https://huggingface.co/MedAIBase/AntAngelMed#offline-inferenceOffline Inference

`` from transformers import AutoTokenizer from vllm import LLM, SamplingParams model_path = “MedAIBase/AntAngelMed” # model_id 或 your_local_model_path tokenizer = AutoTokenizer.from_pretrained(model_path) sampling_params = SamplingParams(temperature=0.7, top_p=0.8, repetition_penalty=1.05, max_tokens=16384) llm = LLM(model=model_path, dtype=‘float16’, tensor_parallel_size=4,
gpu_memory_utilization=0.97,
enable_prefix_caching=True,
enable_expert_parallel=True, trust_remote_code=True) prompt = “如果我头疼该怎么办？” messag