校准信任，而非更精确预测：不确定性融合的实证检验

# 校准化信任，而非更精准的预测
来源：https://arxiv.org/html/2608.14617
基于证据融合与保形筛选法的法律案件结果分类实证研究

###### 摘要\.

法律人工智能领域反复提出的一种方案是，通过融合一系列不确定性量化工具——包括带有置信传播的证据图、序列贝叶斯概率更新、Dempster–Shafer质量函数组合以及保形预测——来构建一个单一的“突破性”流程，以改进案件结果预测。我们利用来自LexGLUE和FairLex基准的1,000个真实欧洲人权法院案件，对该方案进行了直接的实证检验，任务是根据案件事实段落预测法院是否至少发现一起公约违规。我们在两个前沿大语言模型（LLMs，Anthropic Claude Opus 4.8 和 OpenAI GPT-5.5）作为逐事实证据估计器的条件下，比较了三类系统：(A) 原始LLM，(B) 通过融合流程处理的LLM，以及(C) 通过相同流程处理的无LLM词频基线。在约4,750次受控测试中，我们报告了四个发现。首先，在区分能力方面（所有系统的AUROC≈0.83），融合流程相比原始LLM或词频基线均未带来提升；最强的单一判别器是直接使用的前沿LLM。其次，将LLM与贝叶斯概率和Dempster–Shafer融合天真地组合，通过先验失配机制，使校准误差（预期校准误差从≈0.16上升至≈0.46）增加了一倍多，该机制在两个模型上完全复现。第三，Dempster–Shafer融合在长证据链上是主动有害的，它在低于随机水平的准确率上自信地做出错误标签；我们建议移除该方法。第四——也是最具影响力的一点——该流程的真正价值不在于预测，而在于*操作层面*：通过保形选择性预测层进行路由后，系统在决定哪些案件可自动化、哪些需升级至人工处理方面表现显著更佳。在移除Dempster–Shafer、重新校准并在完整的1,000个案件集上进行类别条件风险控制验证后，调整后的引擎能以96.8%的准确率自动处理案件，仅0.5%的错误未经审核漏出，并将96.3%的潜在错误捕获以供人工审查；相比之下，未调整的基线分别为85.9% / 3.8% / 72.1%。我们认为，此类流程在法律领域的贡献在于*校准化信任*——可审计、有保障的选择性自动化——而非更精准的预测，并将这一结论置于保形风险控制和学习延迟的文献脉络中。

法律人工智能；保形预测；选择性预测；校准化；学习延迟；案件结果预测；人机协同；大语言模型

††版权：无††会议：arXiv预印本；2026；††刊年：2026

## 1.引言

法律信息检索和结果预测属于可计费的工作成果：一个遗漏的条款或一个虚构的引用，其后果不是不便，而是专业责任。在从业者和产品文献中出现了一种模式，我们称之为*融合方案*：声称组合几种处理不确定性的不同数学工具——一个通过消息传递的证据图、一个基于证据项的序列贝叶斯概率更新、不确定质量分配的Dempster–Shafer融合以及作为校准包装器的保形预测——能够产生一个质的飞跃的结果预测引擎。这些工具各自具有坚实的理论基础，它们的并置在修辞上颇具吸引力：每种工具分别对应法律推理中一个公认的面向（事实间的依赖性、渐进信念修正、不可消除的不确定性以及有限样本保证）。

该方案很少在真实案件数据上进行端到端的检验，也几乎从未明确说明*预期改进什么*以及*改进多少*。本文提供了这一检验。我们提出了三个实际操作问题，这些问题是一位总法律顾问、法院技术办公室或监管机构真正会提出的：

1.  (1) 融合流程的预测结果是否比更简单的替代方案——包括仅使用单个LLM的方案——更准确？
2.  (2) 向流程中添加前沿LLM，是否比廉价的无LLM基线产生可衡量的改进？
3.  (3) 该流程能否被调整，使AI系统安全地自动化处理真正简单的案件——减少而非增加人工审查负担——同时只将真正需要律师的案件升级处理？

第三个问题对于部署至关重要。一个能处理所有案件但会在相当比例案件上默默犯错的自动化工具，在这样一个充满自信的错误处置可能损害客户利益、违反职责或招致处罚的环境中，是一种负债。相反，一个过于谨慎、将一切案件都升级处理的工具，其危害甚至超过无用：它既消耗律师的时间，又增加了模型的成本。可部署的最佳点是一个系统，它知道自身能力的边界并能够记录该边界。

#### 贡献\.

我们做出以下贡献：

- •C1 — 在1,000个真实ECtHR案件上对融合方案进行对抗性实证评估，使用两个前沿LLM作为逐事实证据估计器，以及一个词频基线作为无LLM对照组，包含约4,750次受控测试，并提供自助置信区间和多随机种子稳定性检查。
- •C2 — 清晰区分融合方案所混淆的三种效应：LLM的价值（相对于廉价基线）、融合数学的价值（相对于简单聚合），以及保形选择性预测层的价值（相对于强制预测）。
- •C3 — 记录负面结果：应用于长法律证据链的Dempster–Shafer融合不仅无益，而且主动有害，在其最自信的案件上产生低于随机水平的准确率。
- •C4 — 诊断并纠正失效模式：LLM与贝叶斯概率融合的天真组合通过先验失配破坏了校准，而单参数重新校准恢复了它。
- •C5 — 调整、验证的筛选引擎，在完整的1,000个案件集上展示了一个风险可控的选择性自动化策略，具有可审计的准确率下限，以选择性预测文献确立的风险控制格式呈现。
- •C6 — 重新定义证据融合流程在法律领域的贡献：从“更精准的预测”（我们未观察到）到“校准化信任”（我们观察到），并提供支持性设计建议。

#### 关于此处“理解”的含义\.

四种工具——置信传播、贝叶斯概率、Dempster–Shafer、保形预测——均不阅读或理解法律文本。它们仅处理数字。理解事实段落并将其转换为数字是一个独立的阶段，由语言模型（带来真实但不完美的理解）或词频统计量（仅带来从训练标签中学到的词语出现相关性）执行。该流程位于此翻译环节的下游，对其含义是盲目的；即使数字描述的是汤品食谱，它的行为也会相同。这种两阶段结构——*阅读器*后接*算术器*——组织了我们整个实验设计，保持其明确性使我们能够正确归因所观察到的效应。

## 2.相关工作

#### 法律判决预测\.

现代英语法律判决预测任务由Chalkidis等人（2019年 https://arxiv.org/html/2608.14617#bib.bib8）确立，他们引入了一个ECtHR数据集和神经基线模型，用于二元违规预测、多标签条款预测和案件重要性预测，并明确通过匿名化研究了人口统计学混杂因素。该工作，以及随后的LexGLUE基准套件（Chalkidis等人, 2022a https://arxiv.org/html/2608.14617#bib.bib10）和FairLex公平性基准（Chalkidis等人, 2022b https://arxiv.org/html/2608.14617#bib.bib11），提供了我们所采用的数据和任务框架。该文献一个核心（有时令人不适）的发现是，在ECtHR事实上的强大预测能力可以从表面特征获得，这同时激励了一种延迟机制：如果模型可能因错误的原因而正确，那么一个将不确定或非典型案件升级至人工的安全阀就不是可选项，而是必需的。

#### 四种工具\.

*贝叶斯概率更新*形式化了渐进信念修正：从基础率开始，乘以每个证据项的似然比，它映射了事实发现者随着证词积累而改变观点的直觉。其众所周知的阿喀琉斯之踵（自早期朴素贝叶斯文本分类器以来）是条件独立性假设。*证据图上的置信传播*是标准补救措施：通过明确建模依赖结构并阻尼消息，它折扣了冗余证据。*Dempster–Shafer理论*是为不可化约的无知场景设计的，允许将质量分配给整个识别框架，而非强制分配给单一假设；其组合规则众所周知对冲突敏感，并且如我们所示，在多个高置信度来源顺序组合时是病态的。*保形预测*在本质上是不同的：它对证据不做任何建模主张，而是为任何分数包装一个有限样本覆盖率保证。

#### 保形预测与风险控制\.

保形预测在可交换性下提供无分布、有限样本的覆盖率保证（Vovk等人, 2022 https://arxiv.org/html/2608.14617#bib.bib26；Angelopoulos 和 Bates, 2021 https://arxiv.org/html/2608.14617#bib.bib4）。其扩展至风险控制由保形风险控制给出（Angelopoulos等人, 2022 https://arxiv.org/html/2608.14617#bib.bib6），其高概率形式由风险控制预测集和先学习后测试校准框架提供（Bates等人, 2021 https://arxiv.org/html/2608.14617#bib.bib7；Angelopoulos等人, 2021 https://arxiv.org/html/2608.14617#bib.bib5）。这些工具正是自动处理门所需的：一种将自动化子集上的错误率固定在所选水平并附带证明的方法。

#### 选择性预测与学习延迟\.

选择性分类——为预测器配备拒绝选项，对低置信度输入不予判断——由El-Yaniv 和 Wiener（2010 https://arxiv.org/html/2608.14617#bib.bib14）形式化，并由Geifman 和 El-Yaniv（2017 https://arxiv.org/html/2608.14617#bib.bib16, 2019 https://arxiv.org/html/2608.14617#bib.bib17）针对具有风险保证的深度模型实现。标准的性能对象是风险-覆盖率曲线及其总结AURC；一个互补的运营点指标是选择性准确率约束（SAC）（Galil等人, 2023 https://arxiv.org/html/2608.14617#bib.bib15）。关于*将拒绝的案件路由给谁*的问题在学习延迟（Madras等人, 2018 https://arxiv.org/html/2608.14617#bib.bib21；Mozannar 和 Sontag, 2020 https://arxiv.org/html/2608.14617#bib.bib22；Verma等人, 2023 https://arxiv.org/html/2608.14617#bib.bib25）及其成本和容量感知扩展（Leitão等人, 2022 https://arxiv.org/html/2608.14617#bib.bib20；Alves等人, 2024 https://arxiv.org/html/2608.14617#bib.bib3）中被研究。我们全文采用风险-覆盖率和SAC的术语。

#### 校准化\.

模型置信度的阈值，只有在置信度已校准的情况下，才如其所声称的那样有效。Guo等人（2017 https://arxiv.org/html/2608.14617#bib.bib18）记录了现代神经网络中的系统性过度自信，并表明单参数温度缩放可以廉价地恢复校准而不改变准确率；Vovk 和 Petej（2014 https://arxiv.org/html/2608.14617#bib.bib27）给出了无分布的校准二元概率。校准是我们调整后流程的第一阶段，也是我们关于天真融合的核心负面结果的分析视角。

#### 法律领域及针对LLM的选择性预测\.

最接近我们场景的是，Wang等人（2024 https://arxiv.org/html/2608.14617#bib.bib28）首次系统研究了法律案件结果分类的选择性预测。对于LLM，保形弃权在保持低弃权率的同时，限制了已回答查询的错误率（Abbasi-Yadkori等人, 2024 https://arxiv.org/html/2608.14617#bib.bib2）。人为方面并非自动：Hullman等人（2025 https://arxiv.org/html/2608.14617#bib.bib19）警告，将预测集交给审查者并不能机械地改善决策，而Cresswell等人（2024 https://arxiv.org/html/2608.14617#bib.bib13）发现，在相同覆盖率下，保形集相比固定大小的集合确实能提高人类准确率。

## 3.数据与任务

### 3.1.来源与出处

我们使用LexGLUE（Chalkidis等人, 2022a https://arxiv.org/html/2608.14617#bib.bib10）中的ECtHR任务A子集，包含9,000个训练、1,000个验证和1,000个测试案件，以及FairLex基准（Chalkidis等人, 2022b https://arxiv.org/html/2608.14617#bib.bib11）的ECtHR配置，后者增加了申请人性别、申请人年龄和被诉国属性。所有案件均源自欧洲人权法院通过法院HUDOC数据库发布的实际判决。每个案件由一系列有序的事实段落以及法院认定被违反的公约条款集表示。

### 3.2.任务定义

我们研究二元结果
y=1{法院发现至少一起公约违规},
y\;=\;\mathbf{1}\{\text{法院发现至少一起公约违规}\},
仅从事实段落进行预测。每个事实段落被视为一项证据，这符合融合方案本身的框架。一个案件平均包含大约20–25个事实段落。

### 3.3.类别平衡与采样

在完整的1,000个案件测试集中，阳性（违规）率为89.8%，仅有约10%的无违规案件；因此全部的区分挑战在于分离少数类。由于严重的类别不平衡使准确率和校准指标难以解释，对于使用LLM打分的实验，我们抽取了一个*平衡的*分层样本，包含200个测试案件（100个违规，100个无违规）。所有涉及LLM分数的逐臂比较均在此平衡样本上计算；完整的1,000个案件集用于词频流程内部（第5.4节 https://arxiv.org/html/2608.14617#S5.SS4）以及调整后引擎的风险控制验证（第7节 https://arxiv.org/html/2608.14617#S7），其中校准集规模本身是研究对象。

## 4.方法

### 4.1.两阶段架构

我们评估的每个系统都具有引言中描述的两阶段结构：一个*阅读器*将每个事实段落映射到一个[0,1]区间内的违规倾向分数，以及一个*聚合器*将逐事实分数组合成案件级决策，可选择地由保形层包装。我们以三种方式实例化阅读器，以多种方式实例化聚合器。

### 4.2.阅读器

#### 词频阅读器（无LLM）\.

我们拟合一个词频-逆文档频率（TF–IDF）向量化器（1–2克，20,000个词的词汇表，次线性词频），后接L2正则化逻辑回归，在9,000个训练案件的所有事实段落上训练，每个段落继承...