审计挑战：健康大型语言模型输出的变异性
摘要
本文发现，基于API和聊天机器人界面等访问模式，大型语言模型在健康建议输出上存在系统性差异，这削弱了评估的有效性。它呼吁模型提供商启用对消费者体验的忠实复制，以进行严格审计。
arXiv:2609.16590v1 公告类型：新
摘要：人们越来越多地使用前沿AI模型获取健康建议，但通过不同的访问模式（例如，ChatGPT、ChatGPT Health、API），设置各异。在此，我们发现不同访问模式之间存在系统性差异。由于评估通常依赖于API，而消费者通过聊天机器人界面交互，这些差异限制了评估的有效性。我们的发现强调，模型提供商迫切需要启用对消费者体验和设置的忠实复制，以进行严格审计。
查看缓存全文
缓存时间: 2026/09/16 08:50
# 审计的挑战：医疗领域大语言模型输出的可变性 来源：https://arxiv.org/html/2609.16590 袁璞 邮箱：[email protected] 所属单位：杜克大学计算机科学系，Research Drive 308号，达勒姆，NC，27708 张裕温 邮箱：[email protected] 所属单位：杜克大学计算机科学系，Research Drive 308号，达勒姆，NC，27708 贾福荣 邮箱：[email protected] 所属单位：杜克大学计算机科学系，Research Drive 308号，达勒姆，NC，27708 尹寻健 邮箱：[email protected] 所属单位：杜克大学计算机科学系，Research Drive 308号，达勒姆，NC，27708 杰西卡·马 邮箱：[email protected] 所属单位：杜克大学医学院，Duke Medicine Circle 40号，达勒姆，NC，27710 所属单位：达勒姆VA医疗系统老年病与延伸护理部，Fulton Street 508号，达勒姆，NC，27705 艾曼·阿里 邮箱：[email protected] 所属单位：杜克大学外科系，Erwin Road 2301号，达勒姆，NC，27710 莫妮卡·阿格拉瓦尔 邮箱：[email protected] 所属单位：杜克大学计算机科学系，Research Drive 308号，达勒姆，NC，27708 所属单位：杜克大学生物统计与生物信息学系，Erwin Road 2424号，达勒姆，NC，27710 ###### 摘要 人们越来越多地使用前沿AI模型获取健康建议，但通过不同的访问模式（例如ChatGPT、ChatGPT健康版、API）并使用不同的设置。本研究发现不同访问模式之间存在系统性差异。由于评估通常依赖API，而消费者通过聊天机器人界面交互，这些差异限制了评估的有效性。我们的研究结果凸显出模型提供商有迫切需求，使其能够忠实复现消费者的体验和设置以进行严格审计。 ### 1 背景与动机 人们越来越多地咨询大语言模型获取健康指导，通常通过供应商构建界面的消费者聊天机器人，例如ChatGPT [Holzwarth等，2026 (https://arxiv.org/html/2609.16590#bib.bib2)；Montero等，2026 (https://arxiv.org/html/2609.16590#bib.bib1)]。鉴于医疗建议背后涉及的高风险，已有大量研究尝试评估LLM生成回答的有效性。部分研究直接通过聊天机器人界面提交问题，并通过复制粘贴手动收集回答[Ayers等，2023 (https://arxiv.org/html/2609.16590#bib.bib3)；Pan等，2023 (https://arxiv.org/html/2609.16590#bib.bib4)；Musheyev等，2024 (https://arxiv.org/html/2609.16590#bib.bib5)；Draelos等，2026 (https://arxiv.org/html/2609.16590#bib.bib6)]，这种方法虽然模拟了消费者使用方式，但难以规模化，尤其是在模型更新频繁的情况下。因此，大多数评估通过查询相应的应用程序编程接口进行，这使得研究者能够以编程方式、高吞吐量地访问相同的底层模型[Jin等，2024 (https://arxiv.org/html/2609.16590#bib.bib7)；Fernández-Pichel等，2025 (https://arxiv.org/html/2609.16590#bib.bib9)；Abrar等，2025 (https://arxiv.org/html/2609.16590#bib.bib8)；Sharma等，2025 (https://arxiv.org/html/2609.16590#bib.bib10)；Kopka等，2026 (https://arxiv.org/html/2609.16590#bib.bib11)；Arora等，2025 (https://arxiv.org/html/2609.16590#bib.bib15)]。 图1：研究者控制的GPT API、ChatGPT和ChatGPT健康版访问方式的概念性比较。即使对于相同用户问题和模型版本，周围的指令、上下文、工具和防护措施也可能因访问模式而异，并影响回答。该示意图是概念性的，并未描绘OpenAI系统的内部架构。方框内的注释提供了各组件的示例。 然而，聊天机器人界面和对应的API是不同的访问系统。即使模型版本保持不变且可用设置尽可能接近匹配，通过一种方式获得的回答也不一定等同于另一种（图1）。例如，通过API和聊天机器人界面向GPT-5.3提交的相同问题，可能因系统指令和来自先前聊天记录的记忆而得到不同的回答。其中许多配置内置于面向消费者的聊天机器人界面中，并非全部公开记录；使用API的研究者可以独立配置类似设置，但无法完全复制消费者界面环境。先前关于AI审计和治理的工作强调，评估结论可能取决于所提供的模型访问形式，并呼吁提高透明度并在不同访问条件下进行实证评估[Casper等，2024 (https://arxiv.org/html/2609.16590#bib.bib18)；Kembery，2024 (https://arxiv.org/html/2609.16590#bib.bib19)]。尽管如此，任一模式下的研究结果常被概括为描述单一系统，而这些差异本身可能影响回答，进而影响用户感知和研究结论。目前对这些访问模式的实证比较仍然有限。在医疗保健领域之外，研究已报告了ChatGPT界面与GPT API输出在来源选择、来源多样性以及在无序或阴谋论对话中的行为差异[Schatto-Eckrodt等，2025 (https://arxiv.org/html/2609.16590#bib.bib12)；Kirgis等，2026 (https://arxiv.org/html/2609.16590#bib.bib13)]。 最近在ChatGPT中部署的Health功能[1]进一步复杂化了医疗领域的评估。Health是ChatGPT界面内的一项专用体验，包含健康特定的模型训练，当ChatGPT检测到个人健康问题时会自动激活，并在用户连接的情况下利用医疗记录和健康数据[Arora等，2025 (https://arxiv.org/html/2609.16590#bib.bib15)]。这些功能增加了越来越多无法通过API复现的健康特定ChatGPT特性（图1）。然而，消费者聊天机器人界面与API在回答相同健康问题时产生的差异程度在很大程度上尚未得到验证。 ### 2 研究设计 我们比较了两种GPT版本及其可用访问模式对相同消费者健康问题的回答，使用的是未连接数据、无对话历史记录、无记忆或无用户定制的新会话。对于GPT-5.3 Instant（数据收集时所有账户持有者的默认模型），我们评估了三种访问模式：标准ChatGPT、ChatGPT健康版和API。对于GPT-5.4（付费订阅者可用），我们比较了标准ChatGPT聊天机器人界面与启用了扩展思考和网络搜索功能的API。对于从在线医疗咨询平台收集的50个患者问题[Li等，2023 (https://arxiv.org/html/2609.16590#bib.bib14)]，我们在每个版本-模式条件下提交了三次问题，并使用配对内问题比较来评估回答形式、行为、引用的网络源（仅针对GPT-5.4）和临床内容的差异。 ### 3 结果 图2展示了即使在同一模型版本内，对相同健康问题的回答也因访问模式不同而存在差异。这些差异在所研究的50个问题中具有系统性（涉及ChatGPT健康版的比较有42个问题；参见第5.2节），以下按维度详细说明。 ##### 回答形式 不同访问模式在用户可见的形式上存在差异（表1和图2）。在GPT-5.3中，标准ChatGPT和ChatGPT健康版的回答都比API回答更长、更易读、格式更密集（即更多的标题、列表、强调和表情符号）（问题层面均值的配对Wilcoxon检验，所有p<0.001）。ChatGPT健康版整体类似于标准ChatGPT界面的回答，但更易读（p<0.001），并且使用章节标题的频率略高（p=0.024）。在GPT-5.4中，界面回答仍然比API回答长（p=0.003），但主要的可读性和格式密度差异发生了逆转：界面回答比API回答更难读且格式密度较低（所有p<0.001）。两种GPT-5.4访问模式的回答中均未出现表情符号。 ##### 回答行为 访问模式在回答如何定位自身与用户的关系方面也存在差异（表1和图2）。在GPT-5.3中，标准ChatGPT和ChatGPT健康版的回答比API回答更频繁地邀请进一步互动（两者p<0.001），主要是通过更频繁地向用户请求额外信息（两者p<0.001）。相反，在GPT-5.4中，API回答比ChatGPT回答更可能采取任何延续性动作（p<0.001），包括请求更多信息（p<0.001）。提供生成额外输出的提议在相同方向上存在差异，但不那么一致，ChatGPT健康版与标准ChatGPT之间差异边缘显著（p=0.043），GPT-5.4 ChatGPT与API之间差异边缘显著（p=0.046）。自我限制性陈述在所有GPT-5.3回答中都不常见，无论访问模式如何，在ChatGPT健康版中出现频率最低，它与API回答存在差异（p=0.047），但与标准ChatGPT回答差异不显著（p=0.250，42个问题中仅3个存在非零配对差异）。GPT-5.4更常采用这些陈述，特别是在API回答中（p<0.001）。 ##### 引用来源 当使用GPT 5.4中的网络检索功能时，API和ChatGPT回答引用的网页和域名数量相似（表1），但通常不同。为量化这种变异性，我们比较了模式内和跨模式的雅卡德重叠度。在单个访问模式内，对相同问题重复收集的回答已经显示出显著的变异性，单个网页的平均重叠度仅为约17-18%，域名为39%。跨访问模式，网页重叠度进一步降至10.9%，域名为29.8%（两者p<0.001，与模式内重叠度相比）。 ##### 临床内容 我们评估了两种类型的临床内容：每个回答中提到的超出患者问题的临床概念（例如诊断、检测、转诊）以及它命名的护理级别（例如自我护理、急诊室就诊）（参见第5.4节）。这两种类型按访问模式变化的幅度小于上述回答特征。应用相同的模式内与跨模式比较，我们发现在GPT-5.3中，标准ChatGPT和API回答之间的额外临床概念重叠度略低（跨模式雅卡德重叠度为0.615 vs. 平均模式内重叠度0.653，p=0.012）。ChatGPT健康版条件与API回答显示类似的分离（0.614 vs. 0.662，p=0.002），但与标准ChatGPT几乎无法区分（0.645 vs. 0.654，p=0.617）。在GPT-5.4中，ChatGPT与API回答之间的跨模式重叠度也低于平均模式内基线（0.586 vs. 0.619，p=0.013）。命名的护理级别呈现相同模式，跨模式重叠度接近模式内重叠度。额外临床概念的数量因访问模式略有不同：标准GPT-5.3 ChatGPT命名的概念略多于API回答（6.7 vs. 5.9，p<0.001），而GPT-5.4 ChatGPT命名的略少于API回答（6.7 vs. 7.4，p=0.005）。 图2：通过GPT API和ChatGPT健康版界面访问时，GPT-5.3对同一消费者健康问题回答的示例，标注了跨模式差异。ChatGPT健康版是ChatGPT内针对检测到的个人健康问题自动激活的健康专用体验。尽管两种访问模式使用相同的名义模型（GPT-5.3），但回答在形式、行为和临床内容上存在差异。 表1：按访问模式划分的核心回答特征。对于标量特征，首先在模式内对每个问题的三次运行取平均，然后在问题层面总结这些平均值。对于百分比特征，单元格总结了该特征出现的问题层面比例。API和标准ChatGPT列包含50个问题；ChatGPT健康版包含激活的42个问题。 GPT-5.3 | GPT-5.4 维度 | 特征 | 度量 | API | ChatGPT | ChatGPT健康版 | API | ChatGPT | 示例问题 样本量 | n | n | 50 | 50 | 42 | 50 | 50 回答形式 | 长度 | 词数 | 268 | 377 | 373 | 425 | 451 | 可读性 | FK等级 | 8.9 | 8.0 | 7.4 | 10.9 | 11.8 | 章节标题 | n | 每百词 | 0.9 | 2.5 | 2.7 | 0.3 | 0.1 | 列表项 | n | 每百词 | 4.1 | 6.4 | 6.6 | 1.7 | 0.4 | 加粗/斜体文本 | n | 每百词 | 0.9 | 3.9 | 4.0 | 6.8 | 4.8 | 任何表情符号 | % | 运行占比 | 0.7 | 36.7 | 28.6 | 0.0 | 0.0 回答行为 | 任何免责声明 | % | 运行占比 | 10.0 | 6.0 | 0.8 | 42.0 | 24.7 | 请求信息 | % | 运行占比 | 54.0 | 76.0 | 91.3 | 76.7 | 52.0 | 提议生成更多 | % | 运行占比 | 24.0 | 35.3 | 23.8 | 26.7 | 19.3 | 任何延续性动作 | % | 运行占比 | 70.7 | 98.0 | 100.0 | 98.7 | 67.3 引用来源 | 引用网页数 | n | — | — | — | 4.7 | 4.4 | 引用域名数 | n | — | — | — | 3.2 | 3.2 ### 4 讨论 在我们的研究中，跨访问模式回答之间最大且最一致的分歧出现在可读性、格式和互动行为方面——这些特征可能影响患者的理解，并最终影响健康结果[Shoemaker等，2014 (https://arxiv.org/html/2609.16590#bib.bib16)；Sheridan等，2011 (https://arxiv.org/html/2609.16590#bib.bib17)]。当底层GPT模型改变时，几个差异的方向发生了逆转，表明访问模式效应在不同模型版本间并不稳定。 我们在医疗领域的发现与同期报告的其他环境中界面-API差异一致[Encarnación等，2026 (https://arxiv.org/html/2609.16590#bib.bib20)；Sadowski，2025 (https://arxiv.org/html/2609.16590#bib.bib21)]。这些结果共同表明，对AI聊天机器人的有效审计不仅需要现实的问题和严格的评分，还需要一种可规模化地复现消费者实际遇到的系统设置的方法。目前，这些配置未被充分公开记录或提供足够细节以供独立评估。 重要的是，本研究在异常受控的条件下检查了访问模式，仍然发现了显著差异：单轮问题、无记忆、无连接记录、无对话历史、无用户定制。在日常消费者使用中，这些功能会显著改变模型行为，并可能进一步扩大消费者观察到的与基于API评估能观察到的之间的差距。最近的一起诉讼说明了其重要性：ChatGPT被指控定制健康相关回答...
相似文章
审查用于罕见病诊断的大语言模型系统中的评估伪象与数据泄漏
本文审查了用于罕见病诊断的增强型大语言模型系统中的评估伪象与数据泄漏问题，表明候选空间污染和时间错位会人为抬高基准测试表现，并提出了一套严格的数据隔离评估框架，以确保系统具备真正的临床稳健性。
压力测试医学大语言模型揭示基准准确率之外的潜在安全病理
本文介绍了AI-MASLD，一个用于医学大语言模型的压力审计框架，揭示了基准准确率如何掩盖严重的安全故障，并展示了开放权重模型在安全维度上可以媲美或超越专有模型。
音频语言模型是否使用副语言证据？用于响应评估的反事实审计
引入了反事实审计，以测试音频语言模型评委在评估语音到语音响应时是否真正使用副语言证据，结果发现对比性成功往往高估了原生可靠性，而相似的准确率可能掩盖Gemini、GPT和开放模型之间不同的失败模式。
IntelliAudit: Using Large Language Models to Evaluate Audit Controls
This paper presents IntelliAudit, a retrieval-grounded multi-agent system that uses large language models to evaluate IT audit controls against evidence corpora, generating cited recommendations and remediation guidance. The authors instantiate it on ISO/IEC 27001 and find it useful for audit preparation while emphasizing the need for human oversight.
临床医生使用语言模型的方式与模型接受评估的方式存在差异
本文分析了6,342名医疗服务提供者向机构内部的大语言模型助手提交的127,833条真实临床查询，发现实际使用场景（主要为文书记录和知识检索）与58个公开临床基准测试所涵盖的任务构成存在显著差异，并据此指出，基准测试得分难以准确预测临床人工智能在现实场景中的表现。