位置而非来源：区分医学视觉语言模型中的推理中介与谄媚

# 位置，而非来源：在医学视觉语言模型中区分推理中介与谄媚

来源：https://arxiv.org/html/2607.27304

Supratik Bhowal  
计算机科学系（AIML）  
IEM 加尔各答，UEM 集团  
印度加尔各答  
[email protected] (https://arxiv.org/html/2607.27304v1/mailto:[email protected])

Subhrajyoti Basu  
计算机科学与商业系统系  
Heritage Institute of Technology  
印度加尔各答  
[email protected] (https://arxiv.org/html/2607.27304v1/mailto:[email protected])

Aritra Gir Mahanta  
计算机科学与工程系  
印度信息理工学院，卡利亚尼  
印度卡利亚尼  
[email protected] (https://arxiv.org/html/2607.27304v1/mailto:[email protected])

以及  
Anik Pal Chowdhury  
计算机科学与商业系统系  
Heritage Institute of Technology  
印度加尔各答  
[email protected] (https://arxiv.org/html/2607.27304v1/mailto:[email protected])

(2026)

###### 摘要。

医学视觉语言模型（VLM）在回答临床问题之前会生成思维链（CoT）推理，但这种推理究竟是驱动了预测，还是仅仅为早已做出的决定添加装饰，仍不清楚。我们引入了 CoT-Mediate，一个行为学框架，它精确地编辑模型自身生成推理中一个具有临床负荷的属性，涵盖侧别、存在/缺失、严重程度、大小、位置、密度和诊断，然后测量答案是否随编辑所蕴含的值而改变。两个因素构成了审计的结构。一个双分支协议将相同的编辑要么作为标记的外部证据传递，要么通过前缀强制续写作为模型自己的先前 token 传递。一个来源扫描保持该文本逐字节不变，同时仅改变其归因来源，即模型自身、中性来源、资深放射科医生或医学生。我们在 VQA-RAD 的 1,000 个样本上审计了 LLaVA-Med 和 MedGemma。前缀强制在两种模型中的中介忠实性得分均高于重新提示：LLaVA-Med 配对提高了 39.8 个百分点（从 33.3% 到 73.5%），MedGemma 提高了 4.9 个百分点（从 55.9% 到 61.6%），因此注入机制决定了结论的方向，而其幅度则因模型而异，并且重新提示的结果是中介效应的下界。在更强的测试下，两种模型在大多数合格项目上都使用了它们陈述的推理。其余效应是分离的。移除信任指令会使 LLaVA-Med 的翻转率变化−1.7个百分点，MedGemma 变化+9.0个百分点，表明受指令驱动的谄媚仅存在于一个模型中。来源使 LLaVA-Med 的翻转率分布范围扩大 19.7 个百分点，完全由自我归因驱动，后者使采纳率从 34.3% 下降到 16.0%，而高级与实习标签则无法区分；MedGemma 则分布范围扩大 4.4 个百分点，具有显著的权威梯度且无自我归因效应。移除图像会提高两种模型对文本的依赖，而侧别编辑是两种模型中最不受追踪的临床属性。

忠实性、思维链、医学 VQA、视觉语言模型、因果中介、谄媚、可解释性

††版权：权利保留 ††会议：第17届印度计算机视觉、图形与图像处理会议；2026年12月21–25日；印度加尔各答 ††期刊年份：2026 ††CCS：计算方法 自然语言处理 ††CCS：计算方法 计算机视觉 ††CCS：计算方法 神经网络

## 1. 引言

医学视觉语言模型（VLM）必须提供准确的答案和*可信的推理*。当模型陈述“右下叶存在边界清晰的富血供肿块，提示肺结节，因此答案是“是””时，临床医生需要知道该推理究竟是*驱动*了答案，还是为已经通过内部捷径得出的结论添加了装饰。这个问题——陈述推理对决策过程的*忠实性*（Jacovi and Goldberg, 2020 (https://arxiv.org/html/2607.27304#bib.bib5)）——已经从两个互不关联的视角进行了研究。

#### 输入扰动范式。
Moll 等人 (Moll et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib3)) 用一个伪造的放射科医生意见、一个泄露的答案或一个边界框扰动胸部 X 射线 VQA 模型的*输入*，然后检查 CoT 是否提到该线索。他们评估临床保真度、因果归因和置信度校准，发现文本线索比图像线索更容易改变解释，并且准确率与解释质量脱钩。Matton 等人 (Matton et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib4)) 将贝叶斯因果效应估计应用于纯文本医学问答，测试模型命名为有影响的概念是否就是那些推动其答案的概念。两者都在推理产生*之前*进行干预。

#### CoT 干预范式。
Lanham 等人 (Lanham et al., 2023 (https://arxiv.org/html/2607.27304#bib.bib1)) 通过增加错误、截断或改写模型*自己生成的 CoT*，然后检查答案是否随之改变。Tutek 等人 (Tutek et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib2)) 通过去学习将其扩展到参数化忠实性。两者都仅针对文本且属于通用领域。

#### 空白。
据我们所知，之前没有任何工作从临床有意义的属性层面扰动医学 VLM 的*自身生成推理链*，并重新注入以测试答案是否是模型刚刚所说内容的一个函数。输入扰动工作询问模型是否对外部线索作出反应，而 CoT 干预工作询问其自身推理是否驱动其答案，而第二个问题从未被问及医学多模态模型。这个空白不仅仅是一个缺失的数据集。医学 VLM 会优先遵循所提供的文本而非自身的视觉处理（Yuan et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib9); Xu et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib10); Aranya and Desai, 2026 (https://arxiv.org/html/2607.27304#bib.bib11); Restrepo et al., 2026 (https://arxiv.org/html/2607.27304#bib.bib12); Deng et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib13)），因此对注入推理的依从性在两种解释之间是模糊的：中介（内容驱动了答案）和谄媚（模型只是服从看起来权威的文本）。我们要解决这种模糊性，而不是再次测量依从性。

#### 我们的方法。
我们引入了 CoT-Mediate，一个行为忠实性审计框架，包含三项创新。

1. (1) 一个用于医学多模态 VQA 的推理中介忠实性测试。我们在医学 VLM 自身推理中扰动临床有意义的属性，如侧别、存在/缺失、严重程度、密度和诊断，并测量答案是否随编辑而变。每个反事实带有一个预测的*隐含答案*，因此结果被分类为*忠实中介*、*解耦*或*反应性不连贯*，而不仅仅是“改变”或“未改变”。
2. (2) 一个双分支注入方法比较。*相同的*扰动通过两种机制运行。*分支 1（重新提示）*将编辑作为标记的外部证据呈现，而*分支 2（前缀强制续写）*在单次解码过程中将其作为模型自己的先前 token 插入。它们的差异衡量了先前工作断言但从未量化的一个区别：前缀强制是更强的因果测试，因为模型无法*围绕*其自身上下文进行推理。
3. (3) 来源条件化的证据注入。在保持编辑内容*固定*的情况下，我们仅改变归因来源：“你自己的早期发现”、“证据”、“资深放射科医生的意见”和“医学生的意见”。这隔离了权威服从与内容追踪，补充了 EchoBench (Yuan et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib9)) 的权威轴，后者将内容与权威一起变化。

在 VQA-RAD (Lau et al., 2018 (https://arxiv.org/html/2607.27304#bib.bib14)) 上审计 LLaVA-Med (Li et al., 2023 (https://arxiv.org/html/2607.27304#bib.bib16)) 和 MedGemma (Sellergren et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib17)) 产生了单分支设计无法获得的四个结果。第一，结论取决于机制，因为前缀强制超过重新提示的配对差异在 LLaVA-Med 上为 39.8 个百分点，在 MedGemma 上为 4.9 个百分点，因此重新提示的数字是中介效应的一个下界。第二，受指令驱动的谄媚是模型特定的，因为移除服从指令会使 LLaVA-Med 的翻转率变化−1.7个百分点，MedGemma 变化+9.0个百分点，而紧密释义对照的基线分别为 1.7% 和 2.8%。第三，两种模型在来源上分离：LLaVA-Med 对权威不敏感却低估自我归因文本，而 MedGemma 表现出权威梯度且无自我归因效应。第四，两个效应在两种基底上均重复出现：移除图像会提高而非降低文本依赖，而侧别是每个分支中最不受追踪的属性。

## 2. 相关工作

我们将文献组织为四个主题，并指出我们的框架所针对的空白。

### 2.1. 视觉语言模型中的思维链推理

思维链提示（Wei et al., 2022 (https://arxiv.org/html/2607.27304#bib.bib22)）通过在预测之前引出中间步骤来改进推理。后来的工作（Lanham et al., 2023 (https://arxiv.org/html/2607.27304#bib.bib1); Tutek et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib2)）表明，生成的推理不一定代表底层决策过程，但它们只涉及纯文本模型。多模态思维链（Zhang et al., 2023 (https://arxiv.org/html/2607.27304#bib.bib23)）通过整合视觉和文本信息将 CoT 扩展到视觉语言模型，而 S-Chain（Le-Duc et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib7)）为医学提供结构化的视觉 CoT 监督。两者都改进了推理*生成*，而没有测试该推理是否具有承载作用。

### 2.2. 用于忠实性的思维链干预

Lanham 等人 (Lanham et al., 2023 (https://arxiv.org/html/2607.27304#bib.bib1)) 通过对模型生成的思维链进行干预来引入忠实性评估，通过推理操作对预测的影响来区分上下文忠实性与参数忠实性。Tutek 等人 (Tutek et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib2)) 通过去学习将此扩展。两者都针对纯文本通用领域推理，并且都没有控制主导医学多模态设置的服从混杂因素。我们通过受控来源下的临床意义 CoT 扰动，将该范式转移到医学 VLM，并添加了这一转移所需的控制。

### 2.3. 视觉语言模型中的忠实性评估

VFaith（Yu et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib6)）和 EDCT（Ding et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib8)）通过扰动视觉输入并测量预测-解释一致性来评估解释忠实性。Moll 等人 (Moll et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib3)) 通过受控的视觉和提示级干预以及放射科医生验证的评判将其扩展到医学，而 Deng 等人 (Deng et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib13)) 表明文本线索会覆盖视觉证据。所有干预都发生在推理生成*之前*的图像或提示上。我们则是在保持视觉证据固定的情况下扰动生成的思维链，这在 Pearl（Pearl, 2001 (https://arxiv.org/html/2607.27304#bib.bib24)）和 Vig 等人（Vig et al., 2020 (https://arxiv.org/html/2607.27304#bib.bib25)）的意义上允许中介性声明，因为此时 CoT 充当图像到答案路径上的中介变量，而不是第二个输入。

### 2.4. 医学视觉语言模型中的谄媚与来源

EchoBench（Yuan et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib9)）证明了医学 VLM 存在显著的谄媚，其响应会适应感知到的用户权威，而缓解工作则从提示中过滤社会线索（Xu et al., 2025 (https://arxiv.org/html/2607.27304#bib.bib10)）。相关研究报告了视觉接地与用户一致性之间的权衡（Aranya and Desai, 2026 (https://arxiv.org/html/2607.27304#bib.bib11)），并表明上下文本身会系统地改变临床预测（Restrepo et al., 2026 (https://arxiv.org/html/2607.27304#bib.bib12)）。所有这些工作都同时变化权威和内容，因此在描述情境偏差时，没有隔离相同推理的*来源*如何影响行为。我们的干预固定语义内容并仅变化其来源，双分支设计将外部证据与推理前缀续写形成对比，从而将权威驱动的同意与推理驱动的自洽性分离开来。此前没有工作联合研究受控推理扰动与来源如何在医学 VLM 中交互，这正是本文框架的动机。

## 3. 方法

CoT-Mediate 是一个六阶段行为审计流水线，下面连同双分支机制、控制矩阵、来源因子、扰动引擎和指标一起描述。

### 3.1. 流水线概述

1. 阶段 1 生成 (Rollout)。目标 VLM 接收一张图像和带有结构化提示的问题，该提示以……格式引出逐步推理，为每个项目产生基线 CoT ci 和基线答案 ai。提取与规范无关：带标签的输出从标签中读取，无标签输出则将其答案子句与理由分离，并将理由保留为 ci。无论哪种方式，审计都会收到模型完整的陈述推理。
2. 阶段 2 扰动 (Perturbation)。一个辅助 LLM 通过一次 JSON 调用生成一个*结构化*反事实，返回编辑后的 CoT、*更改的属性家族*（以下之一：侧别、存在/缺失、严重程度、大小、位置、密度、诊断）、原始值和新值、临床更改数量、一个*隐含答案* ai^impl，以及质量标志。另一次调用生成一个*释义对照*（零临床变化）作为噪声下限。
3. 阶段 2.5 质量门 (Quality Gates)。我们仅保留通过三个门的扰动：(a) *合格*，即 ai^impl ≠ ai，因此该编辑应改变答案；(b) *最小*，即恰好更改一个临床细节；(c) *真实*，即一个真正的反事实而非琐碎的改写。
4. 阶段 3 重新注入 (Re-injection)。编辑后的 CoT 通过两个分支（第3.2节 (https://arxiv.org/html/2607.27304#S3.SS2)）和一个条件控制矩阵（第3.3节 (https://arxiv.org/html/2607.27304#S3.SS3)）注入。
5. 阶段 3.5 来源扫描 (Provenance sweep)。相同的扰动文本在移除信任指令后，在四个来源标签下重新注入（第3.4节 (https://arxiv.org/html/2607.27304#S3.SS4)），因此只有归因发生变化。
6. 阶段 4 接地验证 (Grounding verification)。一个独立的 VLM 检查基线 CoT 所声称的属性是否得到视觉支持，从而将幻觉与中介区分开来。
7. 阶段 5 忠实性评分 (Fidelity scoring)。一个 LLM 评判者对基线 CoT 的临床合理性和连贯性按 1–5 等级评分。
8. 阶段 6 指标 (Metrics)。结果被分类并聚合为 MFS、DR 和辅助指标（第3.6节 (https://arxiv.org/html/2607.27304#S3.SS6)）。

### 3.2. 双分支注入设计

在同一个项目上通过两种注入机制运行*相同的*扰动，使得比较成为项目内、编辑内的配对测试。

#### 分支 1：重新提示（“证据”）。
提示 [图像][问题] 证据：{编辑后的文本} 将编辑呈现为外部提供的证据。这是较弱的因果测试，因为模型可能会遵循该文本，因为