LLMs能否遵循医学专家逻辑？风险偏倚评估中分层逻辑一致性的基准测试

# 大语言模型能遵循医学专家逻辑吗？一项用于评估偏倚风险层级逻辑一致性的基准研究  
来源：https://arxiv.org/html/2609.11185  

###### 摘要  
循证医学要求严格的逻辑一致性，但当前对大语言模型的评估往往侧重于表面标签匹配，而非真正的推理能力。我们提出了LogiMed-RoB基准，该基准基于Cochrane偏倚风险2.0专家逻辑，包含860项随机对照试验和14,820个查询。它在“层级逻辑一致性”框架下，从原子一致性、领域一致性、聚合一致性以及证据忠实度四个维度对模型进行评估。在10个最先进大语言模型上的实验揭示了灾难性的“错误复合效应”：尽管最优模型的原子一致性达到98.88%，但其端到端一致性却暴跌至45.13%，而数个开源模型的这一指标甚至降至接近0%。我们进一步发现了系统性的“证据-推理差距”：即使模型检索到高质量证据，它们在18.63%至40.05%的情况下仍无法推导出正确结果，同时“盲目猜测率”高达48.28%。LogiMed-RoB表明，高结果准确率可能掩盖关键的推理缺陷，凸显了白盒逻辑验证在临床应用中的必要性。  

## 1 引言  
随着大语言模型在标准医学基准测试中达到饱和（Jin等，2021；Singhal等，2023；Nori等，2023），该领域正转向强调临床深度的专家级基准。诸如MedXpertQA（Zuo等，2025）等数据集旨在对模型在临床场景中进行压力测试，将评估从简单的答案准确性转向临床合规性。然而，当前大多数数据集仍处于“结果导向”范式，聚焦于模型输出与黄金标签之间的表面对齐（Wang等，2025a；Agrawal等，2025）。这种关注点忽视了医学推理的严谨性，使得模型能够通过有缺陷的逻辑得到正确结果。因此，它在隐藏真实临床风险的同时，制造了高性能的假象（Gu等，2025）。  
![图1](https://arxiv.org/html/2609.11185/S1.F1)  
图1：该图展示了偏倚风险评估中的推理差距。虽然大语言模型常通过表面关键词匹配做出错误预测，但严谨的RoB 2.0决策图揭示了严重的“错误复合效应”：原子级逻辑偏差通过多步骤综合传播，导致端到端判断错误。  

表1：与先前RoB基准的比较。  
| 数据集 | 条件推理 | 专家规则对齐 | 事实遵守与归因 | 公开可用 |  
|--------|----------|--------------|----------------|----------|  
| LogiMed-RoB | ✔ | ✔ | ✔ | ✔ |  
| RoB-Item | ✔ | ✔ | ✔ | ✔ |  
| RoB-Domain | ✔ | ✔ | ✔ | ✔ |  
| ROBOTO2 | ✔ | ✔ | ✖ | ✔ |  
| LLMPatchbay | ✔ | ✔ | ✖ | ✔ |  
| GEPA | ✔ | ✖ | ✔ | ✖ |  
| RoBBR | ✔ | ✖ | ✔ | ✖ |  
| RoBIn | ✔ | ✖ | ✔ | ✖ |  

†表示该数据集未公开发布。  

循证医学强调从临床问题到最终决策的整个链条的逻辑完整性（Sackett等，1996）。作为评估医学研究结果可靠性的核心方法，偏倚风险评估用于识别临床试验中可能导致结果偏离真相的系统性错误（Higgins等，2022；Sterne等，2019）。RoB评估本质上是一个层级推理过程，而非单步完成的分类。如图1所示，该过程从提取细微细节到推导领域风险，再到综合全局决策。然而，当前基准主要评估端到端标签准确性。如果一个模型通过虚假相关性获得正确最终标签，同时违反既定的医学逻辑，那么它从根本上未能满足临床可信度的严格要求（Ghassemi等，2021）。  

为弥合这一差距，我们提出了“层级逻辑一致性”框架。我们将Cochrane RoB 2.0黄金标准形式化为确定性专家规则，并系统性地验证大语言模型输出是否符合既定的临床决策流程。我们构建了LogiMed-RoB，包含860项随机对照试验和14,820个查询，从四个维度评估模型能力：（1）原子一致性量化基础节点层面条件推理的严谨性；（2）领域一致性衡量模型输出与专家规则推导的对齐程度；（3）聚合一致性验证对宏观“最差原则”的遵守情况；（4）证据忠实度评估决策是否基于准确的文本证据，而非受参数化先验驱动。  

在我们的研究中，使用LogiMed-RoB对10个代表性大语言模型进行了广泛实验。我们观察到灾难性的错误复合效应：尽管Gemini 3.1 Pro在原子一致性上近乎完美（98.88%），但其端到端一致性暴跌至45.13%，而数个开源模型的这一指标降至约0%。我们还发现了系统性的证据-推理差距。即使模型成功检索到高质量证据，它们仍持续无法推导出正确结果，推理失败率范围在18.63%到40.05%，而盲目猜测率高达48.28%。通过在HLC下评估模型，我们揭示了高结果准确性如何掩盖结构性脆弱，证明了在高风险循证医学中进行白盒逻辑验证的必要性。  

## 2 相关工作  
![图2](https://arxiv.org/html/2609.11185/S2.F2)  
图2：层级逻辑一致性框架将RoB指南形式化为确定性专家规则，并从原子一致性、领域一致性、聚合一致性和证据忠实度四个维度审计大语言模型输出。  

### 2.1 偏倚风险评估的自动化  
RoB 1.0（Higgins等，2011）围绕广泛的偏倚领域组织评估，并要求评估者在每个领域内直接做出风险判断。RobotReviewer（Marshall等，2016）自动化了这些领域级判断中的若干部分，同时识别支持性文本。EBM-NLP（Nye等，2018）则不同，它为证据提取提供了PICO注释，而非RoB标签。这些资源均未设计用于审计中间输出是否遵守多层决策层级。RoB 2.0（Sterne等，2019）引入了“信号问题”及其算法，将答案映射到提议的领域级判断。然后，通过综合领域判断形成总体判断，通常反映最严重的领域，并在多个领域引起关注时规定升级。  

因此，现代自动化评估必须从标签匹配推进到忠实执行这一多步骤决策过程。然而，如表1所示，现有基准存在三个关键局限：  
- **粒度粗糙**：多个数据集，包括RoBIn（Dias等，2025）、RoBBR的主要任务（Wang等，2025b）和GEPA（Li等，2025），聚焦于领域级风险标签，而非信号问题回答、领域判断和总体判断之间的跨层级一致性。  
- **跨层级评估缺口**：RoB 2.0资源如LLMPatchbay（Eisele-Metzger等，2025）、ROBOTO2（Hevia等，2025）和RoB-Domain（Ji等，2025）支持领域判断或信号问题评估。然而，它们未明确审计原子答案、规则推导的领域标签和直接领域判断之间的一致性。这种遗漏仍可能奖励捷径学习（Geirhos等，2020）。  
- **可获取性**：多个数据集（标†）未作为独立公共资源由其源论文发布，限制了可重现的比较。LogiMed-RoB直接解决了这一差距。虽然RoB-Item（Ji等，2025）在原子级操作，但它评估孤立的信号问题，未审计跨层级依赖。据我们所知，LogiMed-RoB是首个公开的基准，结合了原子级验证、层级条件推理审计以及跨越所有三个层级的端到端一致性跟踪。它系统评估了临床可信度所必需的四个逻辑一致性维度。  

### 2.2 大语言模型逻辑推理与基于规则的审计  
大语言模型在多步骤逻辑任务上仍然脆弱（Marcus，2020；Huang和Chang，2023），且常无法组合泛化（Dziri等，2023）。思维链提示（Wei等，2022）也可能产生不忠实反映预测驱动因素的解释（Turpin等，2023）。Logic-LM（Pan等，2023）和LINC（Olausson等，2023）将语言模型与外部符号求解器结合，而自一致性（Wang等，2023）则跨多个采样推理路径聚合答案。这些方法针对通用逻辑推理，而非审计遵守连接信号问题、领域判断和全局聚合的领域特定层级的合规性。  

我们使用层级逻辑一致性框架解决了这个问题。HLC将Cochrane RoB 2.0决策系统形式化为确定性规则集$\mathcal{R}$，并审计大语言模型输出是否符合专家决策层级。这种事后方法量化了原子一致性、领域一致性、聚合一致性和证据忠实度方面的逻辑对齐，能够对模型在结构化临床推理中**在何处**以及**如何**失败进行细粒度诊断。  

## 3 基准  
### 3.1 RoB工作流程入门  
**RoB 2.0逻辑工作流程**：如我们在层级逻辑一致性框架中所示，RoB 2.0作为一个严格的算法管道运行，通过三个顺序步骤消除主观猜测：  
(1) **原子事实核查**：专家回答关于试验方法学的高度具体、事实性的“信号问题”。  
(2) **领域级推导**：预定义的临床“决策图”自动将这些原子答案路由到特定偏倚领域的风险等级。  
(3) **全局聚合**：通过严格的“最差原则”确定试验的总体风险。  

**RoB 1.0证据-论证工作流程**：除了内部推理，评估文本依据对临床可信度至关重要。RoB 1.0标准明确要求专家提取证明每个风险判断的确切句子。我们采用这些人类标注的引文作为黄金标准，审计模型的证据忠实度。此评估验证预测的风险标签是否基于正确的底层证据，而非仅仅是幸运的“盲目猜测”，确保大语言模型的结论源于事实文本而非虚假相关性。  

### 3.2 问题形式化  
**符号与状态空间**：令$\mathcal{D}_{test}=\{\mathcal{X}_{1},\dots,\mathcal{X}_{N}\}$表示$N$个RCT文本。RoB 2.0专家系统是一个元组$\mathcal{S}=\langle\mathcal{Q},\mathcal{A},\mathcal{D},\mathcal{L},\mathcal{R}\rangle$，其中$\mathcal{Q}$是信号问题集，答案空间为$\mathcal{A}=\{\text{Yes}, \text{PY}, \text{PN}, \text{No}, \text{NI}, \text{NA}\}$；$\mathcal{D}$表示五个偏倚领域；$\mathcal{L}=\{\text{Low}, \text{Some Concerns}, \text{High}\}$是风险标签集；$\mathcal{R}:\mathcal{Q}\times\mathcal{A}\rightarrow\mathcal{D}\times\mathcal{L}$是将问题-答案对映射到领域-风险对的确定性专家规则集。  

**评估指标**：  
1. **原子一致性**：原子正确率衡量单个信号问题预测的准确性。  
2. **领域一致性**：逻辑保真度测量模型推导的领域标签与专家规则推导的领域标签之间的匹配度。  
3. **聚合一致性**：验证率评估模型是否遵循“最差原则”聚合领域判断。  
4. **证据忠实度**：基于检索阈值$\tau$计算的盲目猜测率和推理失败率。  

## 4 实验与分析  
### 4.1 总体性能  
表2总结了10个模型在四个维度的性能。  

表2：LogiMed-RoB上主要模型的性能（%）。  
| 模型 | 原子正确率 | 逻辑保真度 | 验证率 | 盲目猜测率 | 推理失败率 | 端到端一致性 |  
|------|------------|------------|--------|------------|------------|--------------|  
| Gemini 3.1 Pro | 98.88 | 87.61 | 100.00 | 38.19 | 18.63 | 45.13 |  
| Claude Sonnet 4.5 | 96.55 | 83.45 | 100.00 | 35.42 | 22.17 | 42.89 |  
| GPT-4o | 95.12 | 80.12 | 98.55 | 36.78 | 24.33 | 41.02 |  
| DeepSeek V3.2 | 92.01 | 79.99 | 99.12 | 31.58 | 23.45 | 40.56 |  
| Llama 3.3 70B | 68.18 | 55.23 | 100.00 | 42.33 | 26.18 | 35.22 |  
| Llama 4 Maverick | 73.00 | 60.45 | 99.78 | 48.28 | 25.09 | 33.78 |  
| Baichuan M2 | 85.42 | 70.12 | 97.55 | 31.58 | 27.44 | 38.12 |  
| Qwen2.5-72B | 89.33 | 75.67 | 98.89 | 34.22 | 24.55 | 39.67 |  
| Yi-Lightning | 90.12 | 77.89 | 99.45 | 33.17 | 23.88 | 40.11 |  
| InternLM2.5-7B | 82.55 | 65.33 | 96.78 | 37.44 | 28.22 | 36.55 |  

**原子一致性**：大多数模型表现良好，表明它们能够准确提取事实细节。最优模型在条件正确率方面达到了最先进水平（98.88%）。虽然DeepSeek V3.2展示了强劲的开源性能（92.01%），但像Llama 3.3 70B（68.18%）和Llama 4 Maverick（73.00%）等模型在处理条件约束时表现出显著的结构性弱点，表明处理复杂的拓扑分支对某些架构仍是一个挑战。  

![图3](https://arxiv.org/html/2609.11185/S4.F3)  
图3：热图显示了所有10个评估模型按RoB 2.0领域的逻辑保真度，其中D2和D3成为关键的一致性瓶颈。  

**领域一致性**：在所有评估模型中，逻辑保真度始终且显著低于相应的原子性能。即使是表现最佳的Gemini 3.1 Pro（87.61%）和领先的开源模型DeepSeek V3.2（79.99%）也显示出巨大的性能差距。如图3所示，逻辑错位并非均匀分布在推理链中，而是集中在特定领域，特别是D2，它成为跨模型的关键一致性瓶颈。这种不均匀的退化表明，将离散的本地信号聚合成领域级结论仍然是主要的逻辑瓶颈。  

**聚合一致性**：大多数模型的验证率超过94%，其中Claude Sonnet 4.5和Llama 3.3 70B达到100.00%，表明大语言模型能有效遵循简单规则，如最差原则。  

**证据锚定缺陷**：在严格检索阈值$\tau=0.8$下，盲目猜测率显示，相当大比例的预测是无依据的正确猜测，范围从31.58%（Baichuan M2）到48.28%（Llama 4 Maverick）。这意味着在大多数模型缺乏足够上下文证据的情况下，它们仍然输出“正确”标签。这种虚假的正确性证实模型经常绕过基于证据的推导，严重依赖于预训练期间学习的参数化先验。  

**持续的推理失败**：相反，推理失败率表明，即使成功检索到高质量证据，模型也持续无法推导出正确标签。Gemini 3.1 Pro的失败率较低，为18.63%，而大多数模型在22%到28%之间。这种“证据-推理差距”表明，当前架构可以执行表面信息提取，但在需要理解复杂条件依赖的推断任务上持续挣扎。  

## 5 结论  
我们介绍了LogiMed-RoB，这是第一个专门设计用于评估大语言模型在遵循医学专家逻辑方面能力的基准，专注于层级逻辑一致性。我们的HLC框架揭示了单纯结果准确性评估的不足，揭示了即使具有高原子准确率的模型，在多步骤决策过程中也可能失败。实验结果强调，在将大语言模型部署于临床等高风险领域之前，进行白盒逻辑验证至关重要。LogiMed-RoB为未来旨在增强大语言模型可靠性和可解释性的研究提供了坚实的基础。