安大略省医生使用的AI转录工具出现‘幻觉’和错误，审计员发现 | CBC News

# 供安大略省医生使用的医疗AI转录工具出现"幻觉"并生成错误：审计长指出 来源：https://www.cbc.ca/news/canada/toronto/ai-scribe-system-hallucinations-9.7197049?__vfz=medium=sharebar 多伦多 (https://www.cbc.ca/news/canada/toronto) 安大略省审计长在一份新报告中指出，供该省医生使用的人工智能笔记工具提供了不准确或不完整的信息，或表现出"幻觉"现象，且未得到充分评估。 ## 审计长称政府系统测试"不充分"，省府称错误仅出现在测试阶段 语音朗读图标 收听本文 预计阅读时间：4分钟 本文的音频版本由基于AI的技术生成。可能出现发音错误。我们正与合作伙伴一起持续审查和改进结果。 一位金发女性望向远方。 安大略省审计长 Shelley Spence 发现，供安大略省使用的AI转录工具表现出"幻觉"现象，且未得到充分评估。(Evan Mitsui/CBC) 安大略省审计长 Shelley Spence 在更广泛的省级公共服务部门人工智能使用调查过程中得出了这一结论。 她表示，在省级采购AI医疗系统（用于转录医生与患者对话）的过程中，政府评估人员发现20个程序生成的转录文本存在严重错误。 "AI抄录系统生成的医疗记录中的不准确信息，可能导致治疗方案不足或有害，从而影响患者的健康结果，"审计长的报告指出。 "对AI抄录系统进行测试至关重要，以确保其生成笔记的质量，最大程度减少不准确性。" - 安大略省审计长：私人培训学院卡车驾驶学生未学到关键操作 (https://www.cbc.ca/news/canada/toronto/auditor-general-trucking-report-9.7196634) - 安大略省特殊教育资金未能满足日益增长的需求 (https://www.cbc.ca/news/canada/toronto/ontario-auditor-general-report-education-9.7196608) 报告称，评估人员通过AI系统运行了两组模拟医生与患者之间的测试对话，以测试其能力，并发现了这些问题。 评估人员发现，其中9个系统存在所谓的"幻觉"现象，即编造信息或提出医生并未给出的患者治疗建议。报告称，这些建议包括转诊患者进行心理治疗或安排血液检查。 ## 部分AI转录工具记录了错误的药物处方 20个程序中有12个生成的转录文本包含错误信息，例如记录了与医生开具的不同药物。20个系统中有17个遗漏了患者心理健康问题的关键细节。 审计长还发现，部分系统供应商在采购过程中未提交第三方审计报告、认证或威胁风险评估。但仍有四个系统获得了政府批准。 这些系统已在全省范围内使用，不过政府已向医生发布了指南，要求手动审核AI生成的记录以确保准确性。审计长建议省府在这些系统中实施IT控制，强制要求医生确认已审查过相关记录。 一位身着西装的男子看着提问者。 安大略省公共与商业服务交付和采购部部长 Stephen Crawford 表示，审计长报告中指出的AI转录错误是在流程的测试阶段发现的。(CBC News) Spence 表示，她在最近一次就诊时亲眼目睹了AI转录系统的使用。 "我实际上去了我的医生那里，因为你能听出我的声音和平时不太一样……他们当时正在使用AI转录，"她说。"所以我就提了一句，'请你看完转录记录后再做处理。'" Spence 表示，她并非建议安大略省民众效仿她的做法，而是敦促政府对其转录系统进行彻底测试，以确保"我们购买的AI是能为安大略省人民服务的"。 ## AI程序测试阶段出现的错误 安大略省公共与商业服务交付和采购部部长 Stephen Crawford 表示，报告中指出的错误是在流程的测试阶段发现的。 "使用该产品的医生会监督其每一个方面，"他说。"所以，任何人工智能产生的每一项决策，都由专业人员监督。" Crawford 表示，AI转录系统旨在节省医生的时间。 "这让他们有更多时间与患者相处，减少在记录保存上的时间，"他说。 安大略省未妥善监督医生账单：审计长表示 安大略省审计长称，一些医生计费时间高得离谱——而省府未能充分发现这一问题。省议会记者 Lorenda Reddekopp 进行了解释。 绿党领袖 Mike Schreiner 表示，审计结果"令人深感不安"，并引发患者安全问题。 "如果政府要使用这些工具，我们需要确保……它们在部署前能正常工作，"Schreiner 说。 审计长表示，她向政府及其采购机构提出了10项建议，以改善整个公共部门对AI的使用，政府已同意其中9项。 这些建议主要侧重于加强安全性和隐私保护。 - 安大略省药剂师将获权治疗更多病症并接种更多疫苗：卫生部长 (https://www.cbc.ca/news/canada/toronto/ontario-pharmacists-authority-expanding-9.7194966) - 福特称多伦多是"唯一"能够主办新国际防务银行的城市 (https://www.cbc.ca/news/canada/toronto/ontario-ford-defence-bank-9.7196710) ## 关于作者 Shawn Jeffords 是 CBC 多伦多分台的市政事务记者，目前主要报道安大略省议会。他曾为加拿大通讯社（The Canadian Press）报道省议会。您可通过电子邮件 [email protected] 联系他。