临床医生使用语言模型的方式与模型接受评估的方式存在差异

Hugging Face Daily Papers 论文
clinical-ai llm-evaluation healthcare benchmarking human-ai-interaction natural-language-processing

摘要

本文分析了6,342名医疗服务提供者向机构内部的大语言模型助手提交的127,833条真实临床查询，发现实际使用场景（主要为文书记录和知识检索）与58个公开临床基准测试所涵盖的任务构成存在显著差异，并据此指出，基准测试得分难以准确预测临床人工智能在现实场景中的表现。

大型语言模型（LLM）助手正被部署到各医疗系统，供临床医务人员使用，而对其是否已具备应用条件的判断主要依据基准测试得分，其中大多数得分来自考试题目或经过筛选的病例。基准测试只有在其测试条目与实际使用情境相似的程度上，才能预测部署后的表现，但基准测试是否反映了这些系统实际承担的工作，却鲜少得到衡量。在此，我们分析了八个月推广期间，来自35个专科的6,342名医生、高级临床执业人员和护士向一个机构内部助手提交的127,833条查询。我们使用RCQ-Map对每条查询进行表征。该框架经临床医务人员验证，以临床问题分类体系和LLM评估分类体系为基础，记录查询的任务、意图、可回答性、缺失信息及潜在危害。文书与行政事务（36.2%）以及知识检索（28.9%）占使用量的近三分之二，诊断则占3.7%；超过三分之一的查询无法按其原有表述得到良好回答。我们将来自主要评估套件和前沿模型报告的58项公开基准测试汇编为《临床AI基准测试图谱》，并应用RCQ-Map进行分析。结果显示，基准测试中文书处理请求数量的中位数为零，其任务构成与实际使用的重合度中位数为31%，低于在各任务类别间均匀分布时的重合度。旨在模拟临床实践的评估套件中的基准测试，逐项来看，并不比前沿模型报告中使用的基准测试更接近实际使用。因此，基准测试得分几乎无法说明临床AI在实际承担的大多数工作中的表现，评估应与真实的临床使用情况相匹配。
查看原文
查看缓存全文

缓存时间: 2026/10/12 18:41

论文页面 - 临床医生使用语言模型的方式与模型的评估方式存在差异

来源：https://huggingface.co/papers/2610.11069 发表于10月8日

·

提交者：https://huggingface.co/alyakin314

Anton (https://huggingface.co/alyakin314)于10月12日

作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

大型语言模型(LLM)助手正被部署到各医疗系统供临床医生使用，而对其是否已具备应用条件的判断主要依赖基准测试分数，其中大多数源自考试题目或精选病例。基准测试只有在其测试项目与实际使用情况相似的程度上，才能预测部署后的表现，但基准测试是否反映这些系统实际承担的工作，却很少得到衡量。在此，我们分析了在为期八个月的推广期间，来自35个专科的6,342名医生、高级执业医护人员和护士向机构内部助手提交的127,833条查询。我们使用RCQ-Map对每条查询进行特征描述。这是一个经过临床医生验证的框架，以临床问题和LLM评估的分类体系为基础，记录查询的任务、意图、可回答性、缺失信息和潜在危害。文书记录与行政事务(36.2%)以及知识检索(28.9%)占使用量的近三分之二，诊断占3.7%；超过三分之一的查询按其原有表述无法得到良好回答。我们将来自主要评估套件和前沿模型报告的58项公开基准测试汇集成临床AI基准测试图谱，并对其应用RCQ-Map。结果显示，处于中位数的基准测试不包含任何文书记录请求，与实际使用的任务构成仅有31%的重合度，甚至低于在各任务类别间均匀分布时的重合度。在旨在模拟临床实践的评估套件中，单项基准测试与实际使用的接近程度，并不高于前沿模型报告中采用的基准测试。因此，基准测试分数对于临床AI在其实际承担的大多数工作中的表现说明甚少，评估应与真实的临床使用情况相匹配。

查看arXiv页面 (https://arxiv.org/abs/2610.11069)查看PDF (https://arxiv.org/pdf/2610.11069)GitHub2 (https://github.com/nyuolab/RCQ-Map)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.11069)

在你的智能体中获取这篇论文：

hf papers read 2610\.11069

没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的README.md中引用arxiv.org/abs/2610.11069，即可从此页面关联该模型。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.11069，即可从此页面关联该数据集。

引用这篇论文的Spaces0

没有Space关联这篇论文

在Space的README.md中引用arxiv.org/abs/2610.11069，即可从此页面关联该Space。

包含这篇论文的收藏集1

相似文章

KlinikeBench：超越诊断准确率的语言模型评估

arXiv cs.CL

KlinikeBench 引入了一个由临床医生验证的基准，包含 333 个交互式临床任务，要求大语言模型在限定的对话轮次内采集患者病史、使用临床工具并得出诊断。在评测的 31 个模型中，表现最好的模型（如 GPT-6-astra、Claude Opus 5）尽管诊断准确率达到 90.7%，任务成功率却不足 30%，揭示了诊断知识与真实临床交互能力之间的巨大差距。

在标准化病例中评估大语言模型在动态临床决策中的表现

Hugging Face Daily Papers

研究人员提出了MedSP1000，这是一个包含1638个病例的交互式基准，源自标准化患者场景，用于评估大语言模型作为动态临床代理在多轮问诊中的表现。结果显示，即使是最佳模型（GPT-5.5）也仅完成了60.4%的专家评分项，表明当前的大语言模型在临床实践中尚不够可靠。