clinical-benchmark

一项对照研究评估了大型语言模型在医学推理中的元认知敏感性，发现部分但存在缺陷的置信度校准，其随证据强度和冲突情境而变化。

介绍了RESPClinBench，一个用于呼吸科临床决策的真实世界场景基准，评估了七个LLM在COPD和肺结节病例上的表现。发现了任务特定的局限性，包括影像幻觉和用药安全风险。

MEDSYN 是一个多语言多模态基准，用于评估多模态大语言模型（MLLMs）在复杂临床病例上的表现，每个病例最多包含 7 种不同的视觉证据类型。研究表明，虽然前沿模型在鉴别诊断生成方面与人类专家相当，但所有 MLLMs 在最终诊断选择中均存在显著差距，原因是异质临床证据综合能力不足。