欺骗性基础：临床检索增强生成中的实体归因失败

# 临床检索增强生成中的实体归因失败 来源：https://arxiv.org/html/2607.09349 Cedric Caruzzo Lunit cedric\.caruzzo@lunit\.io&Donggeun Yoo Lunit dgyoo@lunit\.io&Tae Soo Kim Lunit taesoo\.kim@lunit\.io ###### 摘要 检索增强生成评估检查模型声明是否在事实上有据可查于检索文档。它不检查检索到的证据是否归因于正确的实体。一个临床 RAG 响应可以通过所有自动检查（零幻觉、近乎完美的忠实度、真实引用），同时将药物 YY 的临床证据呈现为查询药物 XX 的证据。我们将此称为**欺骗性接地（DG）**：一种在忠实度、幻觉和引用检查中不可见的失败，因为每项声明都来源于真实文档，但关于错误的实体。使用涵盖 13 个模型的受控因子基准，我们发现在最大对抗条件下，DG 率介于 8-87% 之间。医学和生物医学微调模型高达 86.7%；领域专业化放大了而非减轻了这一失败。一项受控消融研究确定了机制：从检索文档中移除实体特异性临床证据完全消除了实体归因失败，将所有失败转向编造。这两种失败模式对同一触发因素做出反应，但路径不同。对 740 个药物-疾病对的生产环境测量发现，部署的 RAG 系统中整体 DG 率为 7.8%，近期获批药物中升至 13.6%。实体归因验证（检查引用的证据是否适用于查询实体）检测 DG 的精度为 97.0%，DG 召回率为 98.7%（IPW 调整后的人类金标准）；现有框架均未实现此功能。 ## 1 引言 临床医生查询一个决策支持系统：*“关于使用利妥昔单抗治疗进行性骨化性纤维发育不良（FOP）的文献怎么说？”* 检索到三份文档，均涉及 garetosmab 和 tofacitinib，这两种药物正在 FOP 中进行研究；利妥昔单抗未出现。系统回应：*“利妥昔单抗已在 FOP 中得到研究。2023 年的一项 2 期试验（NCT03188666）报告称，利妥昔单抗降低了发作严重程度和持续时间，并改善了生活质量。”* NCT03188666 是 LUMINA-1——一项真实的 2 期试验，研究的是 *garetosmab*。引用是真实的。临床声明是准确的——关于 garetosmab。但归因于利妥昔单抗。这如何通过所有自动检查？幻觉检测寻找没有检索支持的声明：响应中的每个事实（试验名称、NCT 编号、结果描述）都直接来源于检索到的 garetosmab 文档，因此没有任何触发。忠实度评分衡量响应是否准确传达了检索文档的内容：确实，它忠实传达了。实体不匹配（garetosmab 的证据呈现为利妥昔单抗的证据）并不算作忠实度失败：忠实度验证声明是否得到检索文档的支持，它们确实得到了支持。即使是将响应和文档中的实体名称进行比较的实现，也将这种差异编码为完全支持响应中的边际惩罚，而不是分类失败信号。引用验证确认引用的文档存在且引用正确：NCT03188666 是真实的，格式正确，其内容与引用匹配。三项检查通过——不是因为失败，而是因为模型准确传达了关于真实实体的真实临床证据。只有实体归因揭示了失败，而现有评估框架均不检查这一点。我们称此为欺骗性接地：一个 RAG 响应准确传达了检索到的证据，但将其归因于错误的实体。与幻觉（无捏造事实）、忠实度失败（所有声明皆有文档依据）或知识冲突失败不同（Longpre 等人，2021 (https://arxiv.org/html/2607.09349#bib.bib16)；Xie 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib31)），DG 不涉及矛盾信号：检索到的 YY 文档在上下文 CC 中与模型对 XX 的预期一致，仅在实体层面有所不同。 参见标题 图 1：欺骗性接地失败结构。关于药物 XX 在疾病 CC 中的查询返回关于 YY 的检索文档。模型准确传达 YY 的临床证据，将其呈现为关于 XX 的证据，并通过所有三个标准自动检查（幻觉检测、忠实度评分、引用准确性）。只有实体归因验证揭示了失败。上述利妥昔单抗/FOP 示例实例化了此结构。 本文做出四项贡献： 1. 1.**规模**。DG 率在 13 个模型中介于 8-87%；医学和生物医学微调模型高达 86.7%；领域专业化放大了而非减轻了这一失败。 2. 2.**机制**。一个两阶段机制解释了跨模型变异。阶段 1：XX 和 YY 之间共享的疾病上下文使模型倾向于将 YY 的证据视为适用于 XX。阶段 2：检索文档是否包含补充信息决定了失败模式——包含时出现实体归因失败，不包含时出现编造。一项受控消融研究因果地证实了这一点：移除补充信息使实体归因失败从 67% 降至 0%，而整体错误响应率升至 98%，现在完全由编造组成。 3. 3.**检测**。实体归因验证（EAV）：精度 97.0%，DG 召回率 98.7%，干净对照假阳性率 0.0%（IPW 调整后的人类金标准，n=88n{=}88）。现有框架均未实现此标准。 4. 4.**生产环境普遍性**。部署的临床决策支持系统中整体 DG 为 7.8%；近期获批药物中为 13.6%，这些药物的实体特异性检索最为稀疏。 ## 2 相关工作 #### 幻觉、忠实度和 RAG 评估。现有框架验证 LLM 输出是否与源文档或事实知识一致（Maynez 等人，2020 (https://arxiv.org/html/2607.09349#bib.bib19)；Ji 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib13)；Huang 等人，2025 (https://arxiv.org/html/2607.09349#bib.bib12)），以及 RAG 响应是否准确反映检索到的内容并带有真实引用（Gao 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib9)；Asai 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib2)；Es 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib7)；Min 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib20)；Kamoi 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib14)；Stolfo，2024 (https://arxiv.org/html/2607.09349#bib.bib28)；Saad-Falcon 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib25)；Dziri 等人，2022 (https://arxiv.org/html/2607.09349#bib.bib6)）。欺骗性接地按照设计无法被所有这些框架检测到：每个 DG 响应完全忠实于检索文档，引用真实来源，并且不包含捏造的声明。失败在于归因层面，这是这些框架均未检查的维度。基于 NLI 的蕴含检查也会通过 DG 响应：生成的声明（例如，“利妥昔单抗减少了发作”）在逻辑上被检索文档蕴含（该文档报告 garetosmab 减少了发作），因为忠实度检查验证声明是否得到文档内容支持，而不是声明的实体是否与文档的主要实体匹配。 #### 实体混合与归因。从精神上说最接近的是，Chiang 和 Lee (2024 (https://arxiv.org/html/2607.09349#bib.bib3)) 引入了 D-FActScore 来检测传记生成中的实体混合，其中 LLM 混淆了来自同名实体的事实。我们的失败在结构上不同：查询实体 XX 和检索文档实体 YY 具有 *不同的* 名称，因此消歧不是问题；问题是生成步骤中的归因纪律。Abolghasemi 等人 (2025 (https://arxiv.org/html/2607.09349#bib.bib1)) 研究 RAG 流程中关于文档作者身份的归因偏差；我们研究实体身份，而非来源出处。D-FActScore 的检测机制也不可迁移：它根据命名实体的参数化知识交叉参考声明，而 DG 响应在相同的参数化知识下是合理的；唯一的诊断信号是检索到的 YY 文档与其归因于 XX 之间的差异，需要检索上下文验证而非知识库检查。 #### RAG 中的知识冲突。一系列有效工作研究当参数化知识与检索上下文矛盾时模型的行为（Longpre 等人，2021 (https://arxiv.org/html/2607.09349#bib.bib16)；Mallen 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib18)；Shi 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib26)；Xie 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib31)）。欺骗性接地不涉及此类冲突：检索到的 YY 文档在上下文 CC 中与模型对 XX 的期望一致，仅在实体层面有所不同。DG 恰好位于知识冲突框架的盲点中：它发生在上下文和参数化知识一致时，而非冲突时。 #### 医学与临床 AI 安全。临床 LLM 的安全评估侧重于事实准确性、幻觉率和适当的不确定性（Singhal 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib27)；Nori 等人，2023 (https://arxiv.org/html/2607.09349#bib.bib21)；Zakka 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib34)；Xiong 等人，2024 (https://arxiv.org/html/2607.09349#bib.bib32)）。Gallifant 等人 (2024 (https://arxiv.org/html/2607.09349#bib.bib8)) 表明交换品牌名和通用名药物会降低 LLM 在医学基准上的准确性；我们的失败是 RAG 中的跨实体错误归因，按照设计在评估中不可见：它完全通过了自动评估。Wong 等人 (2025 (https://arxiv.org/html/2607.09349#bib.bib30)) 表明临床 RAG 即使在事实上准确时也可能产生误导；我们确定实体归因失败是一种独特的机制，当前评估均未检测到。这一差距延伸到监管指南：FDA 关于 AI/ML 医疗器械的指南（美国食品药品监督管理局，2021 (https://arxiv.org/html/2607.09349#bib.bib29)）并未将实体归因准确性纳入定义的评估标准。 ## 3 欺骗性接地：定义与分类 形式化定义。对查询 Q(X,C)Q(X,C) 的响应 RR 构成欺骗性接地当且仅当：(1) RR 包含可归因于检索文档 DD 中实体 Y≠XY≠X 的声明；(2) 这些声明被呈现为关于 XX 的证据；(3) RR 中的所有事实声明在逻辑上被 DD 蕴含（失败在于实体归因层面，而非事实层面）。这一结构性质意味着标准的忠实度指标——验证声明级别的蕴含而不检查实体身份——按设计将 RR 分类为忠实，使得 DG 无论使用哪种具体指标都在评估中不可见。与幻觉的对比是结构性的：幻觉响应引入捏造事实，因此可被忠实度或事实准确性检查检测到；DG 响应忠实，引用真实文档，且不包含捏造声明；幻觉检测器检查的每个属性都得到满足，因为失败在于实体层面，而非事实层面。 三级失败分类。我们根据可检测性和机制区分三类失败。*第 1 级——欺骗性接地*（主要指标）按设计在评估中不可检测。*第 2 级——实体替换 (ES)* 可被 NER 检测：模型响应关于 YY，仿佛 YY 就是查询实体；响应中不出现 XX。*第 3 级——编造（先验知识编造，PKC）* 可被忠实度检测：关于 XX 的声明未基于任何检索文档。报告的 DG 率仅指欺骗性接地（第 1 级）；实体替换和编造是不同的失败类别，具有不同的检测方法，且不是本文定义的 DG。在欺骗性接地内部，四种生成子类型反映了不同的错误归因路径（无声 EAF、显式 EAF、身份融合以及类别解释合理化）；完整分类及模型级映射见附录 C (https://arxiv.org/html/2607.09349#A3)。 ## 4 方法 受控 2D 因子基准。我们构建药物 (XX)–疾病 (CC)–替代药物 (YY) 三元组，涵盖五个临床子领域（自身免疫、血液学、肿瘤学、儿科、罕见病），并应用 2D 因子检索操作（图 2 (https://arxiv.org/html/2607.09349#S4.F2)）。CxCx 轴控制为查询药物 XX 检索到什么证据：*缺失*（无 XX 特异性文档）、*部分*（XX 文档包含机制和背景但无试验结果），或 *完整*（XX 文档包含试验名称、NCT 编号和结果数据）。CyCy 轴控制替代药物文档包含的内容：*空对照*（疾病上下文，无药物特异性声明）、*类邻近*（相同药理学类别，无具体结果）、*上下文相邻*（相同疾病上下文，不同机制）、*先验补充*（与基线模型对 XX 的参数化先验匹配的临床证据），或 *合成_Y*（药理学上合理但非真实的药物名称，具有相同的补充信息）。补充信息目标（CIT；试验名称、NCT 编号、结果数据）定义了 CyCy 条件之间的层级边界。15 个条件（3×53×5）应用于 264 个三元组（每个模式变体 3960 个响应），在两个模式变体下测试药物信息工具可用性和加载额外工具模式的上下文压力是否独立调节归因失败：一个 10 工具模式（4 个 RAG 检索工具加 6 个药物信息工具模式）和一个 4 工具模式（仅 4 个 RAG 检索工具）。完整构建细节见附录 A (https://arxiv.org/html/2607.09349#A1)。 测量。Kimi-K2.5 以标记文档格式判断每个响应：每个声明判断附带来源归因和失败分类（DG、ES 或编造）。选择 Kimi 作为主要判断器是因为其 97.0% 的精度使得 FAIL 调用成为可靠信号，且其在干净对照上的 0.0% 假阳性率确认了特异性。判断器验证：与 Llama-3.1-70B-Instruct 在平衡分层 n=200n{=}200 样本（Cohen’s κ=0.415κ{=}0.415；观察一致性 71.0%）上的交互信度；人类金标准裁定（n=88n{=}88，IPW 调整后代表 n=200n{=}200 总体：EAF 召回率 98.7%，精度 97.0% [87.7, 99.0]，特异性 96.1%）。分歧是方向性不对称的，而非随机的：27 个 Kimi 假阴性中有 25 个是实体替换案例（附录 B (https://arxiv.org/html/2607.09349#A2)），这是原则性的定义差距，而非校准失败；所有四个方向性结论 R1–R4 在两位判断器和人类裁定下均成立。我们处理了使用 Kimi-K2.5 同时进行文档生成和判断可能带来的循环性问题，详见附录 B (https://arxiv.org/html/2607.09349#A2)；人类金标准独立于 Kimi 校准确认了所有方向性结论。完整判断器特征描述见附录 B (https://arxiv.org/html/2607.09349#A2)。 参见标题 图 2：受控 2D 因子基准设计。行：CxCx（查询药物检索完整性）。列：CyCy（替代药物文档内容）。高风险单元（缺失 ×× 先验补充 和 缺失 ×× 合成_Y）有阴影。264 个三元组 ×× 15 个条件 = 3960 个响应，每个模式变体。 ## 5 结果 ### 5.1 欺骗性接地何时发生？ 表 1 (https://arxiv.org/html/2607.09349#S5.T1