安大略省审计人员发现医生使用的AI笔记工具经常犯基本事实错误
摘要
安大略省审计长办公室的审计发现,获准用于医疗保健的AI笔记系统经常编造信息、插入错误的药物细节,并遗漏关键患者数据,而准确性仅占其评估分数的4%。
暂无内容
查看缓存全文
缓存时间: 2026/05/15 00:27
# 糟糕又离谱:安大略省审计员发现医生使用的AI病历记录工具频频犯低级错误
来源:https://www.theregister.com/ai-ml/2026/05/14/ontario-auditors-find-doctors-ai-note-takers-routinely-blow-basic-facts/5240771
AI \+ 机器学习
审计人员称,在评估的AI病历记录系统中,60%的系统在患者笔记中混淆了处方药物
根据一项针对20家获批供应商系统的省级审计结果,安大略省医疗机构获准使用的AI系统经常遗漏关键细节、插入错误信息,甚至编造出患者和临床医生都未曾提及的内容。
这些发现来自加拿大安大略省审计长办公室,并被纳入一份关于该省公共服务领域AI使用状况的[更全面报告](https://www.auditor.on.ca/en/content/specialreports/specialaudits/en2026/AR_2026_AI_EN.html)中。该报告特别针对安大略省卫生部为医生、执业护士及其他医疗专业人员推出的AI病历记录项目。
在采购流程中,官员们使用模拟医患录音进行评估。随后,医疗专业人员将原始录音与AI生成的笔记进行对比,以评价其准确性。
坦白说,对于任何关心AI在关键场景下准确性的人来说,调查结果令人震惊。
据报道,20个AI系统中有9个“编造了信息,并对患者的治疗计划提出了建议”,而这些内容在录音中并未讨论。审计员在样本报告中发现了可能造成严重后果的错误信息,例如报告称未发现肿块,或患者有焦虑情绪,但录音中从未讨论过这些内容。
20个被评估的系统中有12个在患者笔记中插入了错误的药物信息,17个系统“遗漏了录音中讨论的患者心理健康问题的关键细节”。报告指出,6个系统“完全或部分遗漏了患者的心理健康问题,或缺失关键细节”。
OntarioMD是一个为医生采用新技术提供支持的组织,也参与了AI病历记录采购流程。该组织建议医生手动检查AI笔记的准确性,但报告指出,所有获批的AI病历记录系统中均未包含强制性验证功能。
### 糟糕的评估也无济于事
AI系统犯错并不令人意外。正如我们此前报道的,面向消费者的AI倾向于向用户提供[错误的医疗信息](https://www.theregister.com/software/2026/01/05/openai-sees-big-opportunity-in-us-health-queries/2635125),一些研究发现,大语言模型在约[80%的测试案例](https://www.theregister.com/software/2026/04/15/llms-fail-in-8-out-of-10-early-differential-diagnosis-cases/5227208)中未能给出正确的鉴别诊断。但这里评估的工具是给医生用的,而非消费者,如此糟糕的表现需要解释。报告在很大程度上将原因归咎于评估方式。
报告指出,AI病历记录系统各项表现指标在评分中的权重存在问题。平台是否在安大略省有本地业务这一项占评估得分的30%,而医疗笔记的准确性仅占总分的4%。
偏差控制仅占评估总分的2%;威胁、风险和隐私评估占另外2%;SOC 2 Type 2合规性占额外4个百分点。
换句话说,与准确性、偏差控制以及关键安全隐私保障相关的标准,在AI病历记录系统的总分中仅占很小一部分。
报告在评价这一评分机制时指出:“不准确的权重可能导致选中的供应商,其AI工具可能生成不准确或有偏差的医疗记录,或缺乏充分的保护措施来保障敏感的个人健康信息。”
《The Register》联系了安大略省卫生部,询问其对这份报告的看法以及是否会遵循其针对AI病历记录项目的建议,但未立即得到回复。一位卫生部发言人周三告诉[CBC](https://www.cbc.ca/news/canada/toronto/ai-scribe-system-hallucinations-9.7197049),安大略省有超过5000名医生参与了AI病历记录项目,目前尚未收到与该技术相关的患者伤害报告。®
相似文章
安大略省医生使用的AI转录工具出现‘幻觉’和错误,审计员发现 | CBC News
安大略省审计长发现,医生使用的AI转录工具产生错误和幻觉,可能危及患者护理,并批评政府测试不足。
研究人员刚刚在医学论文中发现28个虚假AI引用
研究人员在影响临床指南的医学论文中发现了28个AI生成的虚假引用,凸显了AI幻觉破坏科学诚信和患者护理的风险。
AI 记录员如今在医疗保健领域无处不在,我对它们确实喜忧参半
作者分享了在医疗保健领域使用 AI 记录员的复杂感受,承认它们为临床医生带来了解脱,但也对自动生成的笔记被永久存入病历的准确性表示担忧。
那些 AI 笔记工具?它们让律师们感到不安
AI 驱动的会议笔记工具引发了律师们的担忧,涉及法律实践中的客户保密性和数据隐私问题。
你该让AI记录你的医生问诊吗?
探讨医生问诊中环境AI记录员日益广泛的使用,患者应提出的问题,以及围绕知情同意和HIPAA合规的法律环境。