CalBrief：大型语言模型证据校准式科学简报的试点诊断基准

# 面向大型语言模型的证据校准科学简报试点诊断基准

来源：https://arxiv.org/html/2606.27383

11四川大学

######  摘要

大型语言模型（LLM）越来越多地被用作研究助手，但目前尚不清楚它们是否能够根据支持证据的强度和范围来校准研究结论。我们研究证据校准的科学简报：给定一个有限的相关论文包，系统应生成包级别的结论，并附有证据强度、范围边界和缺失证据的说明。我们贡献了一个经过验证的试点基准，包含16个异质科学证据包和96个人工验证的结论，并使用CalBrief——一个可审计的角色/差距/强度框架——作为诊断探针，定位简报在何处失效。在公平模式评估下，结构化组织改善了角色和差距推理，但显式的强度校准策略系统性过于保守，且低于多数和直接LLM基线。为了解释原因，我们在三个闭源模型骨干（GPT-4o、Claude Sonnet、Gemini Flash）上进行了受控诊断，分离了保守性的三个潜在原因。大约63%的保守性差距可归因于标签空间从二元{中等，弱}扩展到四元{中等，弱，不确定，证据不足}（在所有骨干中p<0.001）；约1%可归因于差距/范围信号注入（不显著）；剩余约36%来自流水线策略本身。我们还发现，四元预测可以事后折叠回二元，并匹敌或超越直接二元提示，因此额外标签携带的信息被严格匹配所隐藏。标签级别的强度判断和可审计的证据组织是目前存在张力的不同能力，应针对LLM研究助手分别评估。

## 1 引言

大型语言模型（LLM）越来越多地被用作研究助手，用于阅读论文、准备相关工作摘要和起草技术简报。在实际工作流程中，用户通常会收集一小包相关论文，例如基准论文、方法论文、综述和评估资源，并询问从整个包中可以得出什么结论。

这种情况下引发了一个超越普通摘要的问题。流畅的摘要仍可能夸大证据所支持的内容。特定基准的收益可能被表述为通用能力声明，孤立的方法论文可能被解读为领域层面的共识。这些是证据校准的失败：生成的结论的强度和范围与底层证据包不匹配。

我们研究证据校准的科学简报：给定一个有限的科学论文包，目标是生成包级别的结论，并附有强度标签、证据支持、范围说明和缺失证据信息。校准的简报不仅应回答“这些论文说了什么？”，还应回答“该包对每个结论的支持强度如何？”以及“证据的局限性在哪里？”

主要贡献是一个基准和一个诊断发现，而非新系统。我们构建了一个经过验证的试点基准，包含16个科学证据包和96个人工验证的包级别结论，涵盖RAG评估、长上下文RAG、工具使用、GUI/网络代理、多智能体评估、LLM安全、科学声明验证和科学论文摘要。为了探究简报在何处失效，我们使用CalBrief，这是一个可审计的框架，将简报分解为角色感知的证据组织、图支持的差距分析和强度校准。CalBrief并非一个新的基础模型；它是一个工具，暴露中间证据信号，以便每个子能力可以与直接LLM基线进行对比。

我们的发现揭示了证据组织与强度校准之间的分离。结构化组织改善了论文角色识别和证据差距相关性，但其显式的强度校准策略系统性过于保守，并被同一LLM直接提示所超越。在三个闭源模型骨干上的受控诊断将大部分失败归因于标签空间的扩展，发现添加差距和范围信号几乎没有任何改变，并将一个较小但可分离的残差归因于流水线策略。事后将更丰富的标签折叠回二元可以恢复并有时超越直接的二元提示，显示了标签空间膨胀的建设性用途。

贡献。

- 我们形式化了证据校准的科学简报作为包级别的科学文档理解任务，并引入了一个经过人工验证的试点基准，包含16个包和96个结论，这些结论针对论文角色、证据差距、范围受限声明、不匹配信号和强度标签进行了注释，并进行了双重注释可靠性检查。
- 使用CalBrief作为诊断探针，我们表明结构化组织改善了角色和差距推理，而显式的校准策略系统性过于保守。
- 在三个闭源模型骨干（GPT-4o、Claude Sonnet、Gemini Flash）上，我们分解了保守性失败，并将大部分归因于标签空间膨胀，几乎不归因于信号注入，较小部分归因于流水线策略。
- 我们展示了一种建设性的互补：事后将四元预测折叠为二元可以匹敌或超越直接的二元提示。

## 2 相关工作

科学文档摘要将一篇或多篇论文压缩为简洁摘要[1, 7]，最近的LLM系统将其扩展到文献综述和调查生成[15]。这些针对覆盖度和引用基础；我们则询问生成的结论是否正确陈述了证据强度和范围。

声明验证询问固定声明是否被支持或反驳[13, 12, 14]，有基础的生成要求输出引用其来源[5, 2]；两者均未涉及新生成结论的强度或范围。我们从系统性综述工作[3, 9, 10]中适应了强度、间接性和偏倚风险的区别到AI/NLP包，其中基准范围和角色异质性占主导地位。

越来越多的工作表明，LLM在现实或诊断设置中即使标准基准得分高也可能失败[11, 8, 6, 4, 16]。我们遵循这一传统，但将失败归因于可分离的来源（标签空间、信号、策略），而非单一能力差距。

## 3 任务与验证试点基准

### 3.1 任务定义

输入是一个有限的科学论文包P={p1,p2,...,pn}，其中每篇论文贡献不同形式的证据。一个包与一个研究问题相关联。开放式的论文检索不在本工作范围内。期望的输出是一组包级别的校准结论T={(ti,yi,si)}i=1^m，其中ti是结论，yi是强度标签，si包含证据支持、范围说明以及支持论文或声明标识符。在我们的验证集中，黄金强度标签为中等和弱。中等结论直接由基准证据或多个一致来源支持；弱结论仅得到部分、间接或狭窄的支持。

### 3.2 证据单元与数据集构建

我们注释了五种类型的证据单元：论文角色、证据差距、范围受限声明、基准/能力不匹配信号以及校准结论。论文角色包括概念综合、实证方法、评估资源、聚合证据、应用/部署、立场/视角和其他。注释指南定义了一个关键的校准规则，该规则锚定了所有黄金强度标签：仅范围限制不会降低结论等级。当（i）措辞保持在测量范围内且（ii）范围内的证据直接支持它时，基准范围内的结论为黄金中等；只有当支持在该范围内也是部分、间接或有争议时，它才为弱。结论永远不会仅仅因为包缺少部署证据、外部验证或跨基准聚合而被降级。这一规则正是校准探针后来未能保持的区分（第7节）。

基准通过半自动化但人工控制的工作流程构建。候选论文被检索并每个包短列表；仅短列表的开放获取PDF被解析。生成草稿元数据、证据审计和结论，并使用LLM辅助的清理层标记错误的包措辞、缺失PDF、不支持的结论、角色不一致以及可疑的聚合证据分配。没有LLM草稿自动提升为黄金；每个包都经过人工验证检查清单和JSON回写阶段。16个包跨越五个领域组：RAG/检索评估（4个包）、LLM智能体基准（6个）、科学NLP任务（3个）、安全性/可信度（2个）以及其他多文档问答（1个），涵盖实证方法、评估资源和概念综合作为主导证据角色。

我们故意保持首次发布规模较小，并使用二元黄金标签。我们的目标是干净、完全人工验证的信号，而非规模：通过96个结论，我们可以手动检查每个标签，并且我们后来报告的在细粒度不匹配类型上的低一致性（第3节）使我们相信，推动更大或更细粒度的黄金集将会混淆两个不同的问题。我们宁愿报告一个可靠的小集，而不是一个无法支持的大集。

| 数据集组件 | 数量 | 备注 |
|------------|------|------|
| 已验证包 | 16 | 异质科学证据包 |
| 已验证结论 | 96 | 61个中等 / 35个弱 |
| IAA子集项目 | 30 | 跨六个包分层 |
| IAA包 | 6 | 角色、强度、差距、边界/不匹配单元 |

表1：已验证试点基准和可靠性子集摘要。

### 3.3 人工双重注释检查

我们在一个30项目的分层子集（涵盖六个包，表2）上进行了人工双重注释检查。整体精确一致性为80.0%。一致性最高的是结论强度（准确率=1.000，Cohen's κ=1.000）和证据差距相关性（准确率=0.833，κ=0.667）。论文角色标签显示中等一致性（0.667/0.400）；细粒度基准不匹配类型一致性较低（0.250/0.200），仅用于诊断。强度一致性结果应谨慎解读，因为它仅覆盖12个双重注释的强度项目；即便如此，它提供了初步证据表明二元强度标签具有一致的可解释性。

| 注释类型 | n | 准确率 | κ |
|----------|---|--------|---|
| 论文角色标签 | 6 | 0.667 | 0.400 |
| 结论强度 | 12 | 1.000 | 1.000 |
| 证据差距相关性 | 6 | 0.833 | 0.667 |
| 范围边界判断 | 2 | 1.000 | 1.000 |
| 基准不匹配类型 | 4 | 0.250 | 0.200 |
| 总体 | 30 | 0.800 | – |

表2：30项目分层子集上的人工双重注释一致性。

## 4 CalBrief 框架

CalBrief是一个可审计的探针，包含三个组件，其目的不是流畅性，而是暴露每个结论的证据基础和范围，以便每个子能力可以单独测量。角色感知的证据组织在生成结论前识别论文角色，以减少证据角色混淆。图支持的差距分析将论文、角色、声明、差距、基准覆盖和范围受限声明组织为可检查的结构；该图是用于证据分析的可审计表示，而非学习模型。强度校准将支持、基准覆盖、范围边界、部署差距和角色异质性映射到强度标签，并修改措辞以匹配。如实验所示，最后一步是最难的，且容易过于保守。

校准步骤本身是在LLM提取证据单元后应用的确定性策略。简而言之，给定结论t的支持论文Sup(t)、角色R(t)、类型化差距G(t)和不匹配信号M(t)，返回：如果|Sup(t)|=0则为证据不足；如果任何g∈G(t)匹配t的范围（外部验证或能力覆盖）或任何m∈M(t)未解决则为不确定；如果|R(t)|≥2且互补且没有高严重性g剩余则为中等；否则为弱。边缘情况遵循相同优先级顺序，可执行策略将与基准工件一起发布。这就是我们在第6.3节中后来归因于剩余保守性差距的策略。

## 5 实验设置

#### 方法与公平模式评估。

对于主要结构化比较，我们评估了强结构化提示、角色无关、角色感知和角色感知图流水线，以及CalBrief；一个始终为中等的多数基线和直接简报基线（使用Kimi-K2.6、GLM-5.1、Qwen3-32B）作为仅强度参考。所有结构化方法输出相同字段（论文角色、证据差距、带有强度标签的校准结论、不支持推理标志、范围说明），并为所有16个包生成可解析输出。直接简报基线不输出角色/差距结构；其角色和差距条目标记为*N/A*，而非视为错误。

#### 闭源模型诊断。

为分离CalBrief的强度校准失败的原因，我们使用GPT-4o、Claude Sonnet和Gemini Flash对相同的96个结论进行了受控诊断。我们选择这三个是因为它们是来自三个不同提供商的广泛使用的闭源模型；如果相同的保守性出现在所有模型中，我们可以更有信心这是任务设置的属性，而非某个模型家族的怪癖。我们每个骨干比较了三个条件：直接二元（标签空间{中等,弱}，无流水线信号）；直接四元干净（扩展标签空间{中等,弱,不确定,证据不足}，无流水线信号）；以及直接四元带信号（四元标签加上CalBrief会注入的差距、范围和基准覆盖信号）。每个条件在两个提示版本下运行：v1_unbiased（中性定义）和v2_calbrief_aligned（CalBrief的标签定义逐字）。通过配对bootstrap（10,000次重采样）评估显著性。所有骨干在--resume --retry-errors后产生96/96有效输出。

#### 指标。

我们报告角色准确率、证据差距相关性、强度精确匹配、强度的宏F1（在{中等,弱}上）以及不支持推理。对于四元条件，我们额外报告保守性折叠（{不确定,证据不足}→弱）和映射到中等的F1。