LegalCiteTrust：中文长篇法律研究报告中引文可信度的基准评估

# LegalCiteTrust: 面向中文长篇法律研究报告的引文可信度基准评估

**来源：** https://arxiv.org/html/2607.20872

**作者：**
- 李云翰¹,²
- 谢明杰³
- 史泽阳¹
- 吴耿申¹,\*
- 杨敏²,\*

¹ 澳门城市大学数据科学学院，澳门
² 中国科学院深圳先进技术研究院，中国
³ 南方科技大学，中国

**邮箱：** [email protected], [email protected], [email protected]

\* 通讯作者

---

###### 摘要

长篇法律研究报告日益依赖大语言模型（LLMs）和智能研究系统，但其可靠性不仅取决于能否完成任务，更取决于所引用的法律权威是否可信。即使引用的是真实来源，引文仍可能存在风险：报告可能遗漏限制条件、错误描述法律权威，或将其用于支持超出原始出处允许范围的更强主张。为此，我们提出 LegalCiteTrust——一个用于评估中文长篇法律研究报告引文可信度的基准。该基准包含 72 个密集标注的报告级任务，并从三个维度评估报告：覆盖度（Coverage）、支撑度（Support）和引文可信度（Citation Trustworthiness）。其中，引文可信度通过引文级的存在性（Existence）、忠实性（Fidelity）和适用性（Applicability，简称 E/F/A）来具体衡量。实验针对通用 LLMs、深度研究系统和法律专用系统展开，结果表明：任务完成度、证据丰富度、引文密度和引文可靠性揭示了不同的系统行为特征。检索工具能够提升证据支撑度，但未必能可靠改善可信度分数；而基于 E/F/A 的修订比仅基于存在性的筛选更能显著提升可信度分数和最终分数。这些发现表明，可信赖的法律研究报告生成需要检索后的引文感知证据治理：系统不仅要检索法律权威，还必须可靠地选择、描述和运用它们。

---

## LegalCiteTrust：面向中文长篇法律研究报告的引文可信度基准评估

**作者：**
- 李云翰¹,²
- 谢明杰³
- 史泽阳¹
- 吴耿申¹,\*
- 杨敏²,\*

¹ 澳门城市大学数据科学学院，澳门
² 中国科学院深圳先进技术研究院，中国
³ 南方科技大学，中国

**邮箱：** [email protected], [email protected], [email protected]

\* 通讯作者

---

## 1 引言

长篇法律研究报告与简短的法律问答不同，它必须跨子议题组织问题，并将分析建立在法律法规、司法解释、规章和案例之上。随着 LLMs 和智能研究系统开始自动化撰写此类报告[Avraham 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib31)](https://arxiv.org/html/2607.20872#bib.bib31)，引文便成为了报告所依据的法律权威。因此，核心风险不仅在于系统是否得出合理结论，更在于支撑结论的引文是否可信。在本文中，引文可信度意味着：所引用的法律权威真实存在、被忠实描述，并且能够支撑其被用于支持的局部主张。一条不存在、被歪曲或误用的引文，可能让一份报告看似有法律依据，实则建立在不可靠的权威之上[Legg 等人，2025 (https://arxiv.org/html/2607.20872#bib.bib32)](https://arxiv.org/html/2607.20872#bib.bib32)。

现有评估涵盖了这一问题的重要部分，但未能全面覆盖这种关系。法律基准和实践导向评估衡量的是法律知识、推理、检索或任务完成度[Fei 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib12)](https://arxiv.org/html/2607.20872#bib.bib12)；[Shi 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib14)](https://arxiv.org/html/2607.20872#bib.bib14)；引文导向的工作则更直接地评估引文能否被生成、匹配或验证[Chen 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib26)](https://arxiv.org/html/2607.20872#bib.bib26)。但尚待充分评估的，并不仅仅是报告是否有用、完整或引文丰富，而是每一条被引用的法律权威是否被作为可信的依据用于支撑局部主张。这一点之所以重要，是因为引文失败是情境相关的：模型可能引用真实来源却遗漏了限制条件，或准确描述了一项规则却将其用于支撑比原文允许范围更广的主张。

为此，我们提出 LegalCiteTrust，一个面向中文长篇法律研究报告的基准。它将评估中常被混淆的三个层面加以区分：报告是否遵循了要求的研究结构、是否提供了法律证据、以及引文是否可信。引文可信度通过存在性（Existence）、忠实性（Fidelity）和适用性（Applicability，即 E/F/A）进行评估。图 1 (https://arxiv.org/html/2607.20872#S1.F1) 总结了任务设置和评估框架。

> **图 1：LegalCiteTrust 概览。** 该基准将报告级的覆盖度和支撑度与引文级的存在性、忠实性和适用性判断联系起来，用于评估引文可信度。

利用 LegalCiteTrust，我们评估了通用 LLMs、深度研究系统和法律专用系统，并进行了工具消融和验证消融实验。结果表明：任务完成度、证据丰富度、引文密度和引文可靠性并非同一质量维度——检索可以增加证据支撑，但不一定能可靠地提升引文可信度；而 E/F/A 反馈比仅基于存在性的筛选更能有效地改进修订。这些发现表明，可信赖的法律研究报告生成需要检索后的引文感知证据治理，而不仅仅是增加检索。

## 2 相关工作

LegalCiteTrust 位于法律任务评估、智能或深度研究报告评估、以及幻觉或引文忠实性评估这三者的交叉点上。表 1 (https://arxiv.org/html/2607.20872#S2.T1) 总结了这一定位。

**表 1：LegalCiteTrust 与相关范式的定位对比。** 引文可信度要求法律权威存在、描述忠实且能支撑当前主张。

法律基准已涵盖越来越逼真的法律能力。静态和理解导向的基准，如 CAIL2018 [Xiao 等人，2018 (https://arxiv.org/html/2607.20872#bib.bib1)](https://arxiv.org/html/2607.20872#bib.bib1)、LexGLUE [Chalkidis 等人，2022 (https://arxiv.org/html/2607.20872#bib.bib4)](https://arxiv.org/html/2607.20872#bib.bib4) 和 LawBench [Fei 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib12)](https://arxiv.org/html/2607.20872#bib.bib12)，实现了法律预测、分类和推理的标准评估。检索和接地基准，如 COLIEE [Goebel 等人，2023 (https://arxiv.org/html/2607.20872#bib.bib5)](https://arxiv.org/html/2607.20872#bib.bib5)、LeCaRD [Ma 等人，2021 (https://arxiv.org/html/2607.20872#bib.bib7)](https://arxiv.org/html/2607.20872#bib.bib7)、STARD [Su 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib9)](https://arxiv.org/html/2607.20872#bib.bib9) 和 CanLegalRAGBench [Zhao 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib10)](https://arxiv.org/html/2607.20872#bib.bib10)，则评估系统能否定位或使用法律来源。实践导向和智能法律基准，如 PLawBench [Shi 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib14)](https://arxiv.org/html/2607.20872#bib.bib14) 和 LegalAgentBench [Li 等人，2025a (https://arxiv.org/html/2607.20872#bib.bib17)](https://arxiv.org/html/2607.20872#bib.bib17)，更贴近现实的法律工作成果。这些基准是法律 NLP 评估的核心，但它们主要评估法律能力、检索、答案正确性或任务完成度，而非评估一份完整研究报告中的引文是否存在、是否被忠实描述、以及是否支撑局部法律主张。

智能体和深度研究基准评估更广泛的多步骤研究行为。AgentBench [Liu 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib15)](https://arxiv.org/html/2607.20872#bib.bib15) 和 OpenHands 风格的评估 [Wang 等人，2025 (https://arxiv.org/html/2607.20872#bib.bib16)](https://arxiv.org/html/2607.20872#bib.bib16) 关注规划、工具使用、交互和任务成功。ReportBench [Li 等人，2025b (https://arxiv.org/html/2607.20872#bib.bib18)](https://arxiv.org/html/2607.20872#bib.bib18)、DeepResearch Bench [Bosse 等人，2025 (https://arxiv.org/html/2607.20872#bib.bib19)](https://arxiv.org/html/2607.20872#bib.bib19) 和 DeepResearch Arena [Wan 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib20)](https://arxiv.org/html/2607.20872#bib.bib20) 直接评估长形式研究和报告生成，包括完整性、综合能力、事实一致性和引文支撑。这些设置与我们报告级的关注点很接近，但法律研究报告对权威性有更强的要求：法律法规、司法解释、规章和案例不仅仅是信息来源，更是法律论证的规范性依据。

幻觉和引文忠实性评估从另一个角度处理事实性和接地问题。TruthfulQA [Lin 等人，2022 (https://arxiv.org/html/2607.20872#bib.bib21)](https://arxiv.org/html/2607.20872#bib.bib21) 和 HaluEval [Li 等人，2023 (https://arxiv.org/html/2607.20872#bib.bib22)](https://arxiv.org/html/2607.20872#bib.bib22) 评估事实性或幻觉内容；RAGAS [Es 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib23)](https://arxiv.org/html/2607.20872#bib.bib23)、CRAG [Yang 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib24)](https://arxiv.org/html/2607.20872#bib.bib24) 和 RAGTruth [Niu 等人，2024 (https://arxiv.org/html/2607.20872#bib.bib25)](https://arxiv.org/html/2607.20872#bib.bib25) 研究检索增强生成中的忠实性或幻觉。引文导向的工作则询问生成的陈述是否得到参考文献支持，LegalCiteBench [Chen 等人，2026 (https://arxiv.org/html/2607.20872#bib.bib26)](https://arxiv.org/html/2607.20872#bib.bib26) 通过引文恢复、匹配和修正来针对法律引文生成与验证。

LegalCiteTrust 瞄准的是余下的交叉领域：长篇法律研究报告中，引文必须作为可信的法律权威发挥作用，而不仅仅是作为可检索或可匹配的参考文献。

## 3 基准设计

本节定义了 LegalCiteTrust 的任务、基准构建和引文可信度维度。附录 A (https://arxiv.org/html/2607.20872#A1) 提供了完整的指标映射和聚合规则。

### 3.1 任务定义

LegalCiteTrust 评估长篇法律研究报告的生成。给定一个包含主要法律研究查询、子议题和子议题描述的任务输入，系统需要生成一份结构化报告，分析相关的法律规则、适用条件、案例和规范性权威。输出不仅仅是最终答案：它需要跨子议题组织问题、解释法律理由，并引用法律法规、司法解释、规章或案例作为分析的权威依据。

一份完整的法律研究报告必须做到以下几点：覆盖要求的分析、为该分析提供法律权威、并在上下文中可靠地使用所引用的权威。因此，LegalCiteTrust 将这些层次映射为覆盖度（Coverage）、支撑度（Support）和引文可信度（Citation Trustworthiness）。覆盖度衡量报告是否覆盖了给定子议题和描述所隐含的细目级问题。因此，它是在给定研究计划下的遵循度衡量，而非开放式的法律问题发现。支撑度衡量证据丰富度：报告是否为相关问题提供了成文法、规章、司法解释或案例权威，而不判断每条引文是否被忠实使用。引文可信度通过报告级的 Trust 分数来量化，通过存在性、忠实性和适用性（E/F/A）判断来衡量引文可靠性。分离这些维度，使得 LegalCiteTrust 能够区分报告是否覆盖了要求的分析、是否提供了法律证据、以及是否可靠地使用了引文。

### 3.2 数据集构建

我们从 13,622 份法律研究文档的候选池中构建 LegalCiteTrust。为了确保有足够的法律权威需求用于引文可信度评估，我们保留了至少包含一条案例引用和至少五条成文法或规范性引用参考的文档，最终得到 72 份源文档。

**表 2：数据集统计。**

每份源文档被转换为一项法律研究任务，包含一个主要查询、子议题和子议题描述作为生成输入。细目和证据点保留用于评估，不向系统展示。细目规定了细粒度的讨论要求，而证据点则提供了判断报告是否覆盖并支撑这些要求的参考材料。发布的基准材料包含重构的任务输入、细目、证据点和标注，不包含源文档的全文、摘要或连续的原始段落。已发布的材料经过审查，以避免不必要的个人身份信息；保留的法律标识符（如法律名称、案例名称、案号或判决引用）仅在引文验证需要时才包含。最终形成的 72 项任务扩展为 236 个子议题、585 个细目和 1,459 个证据点，使得该基准足够密集，可用于受控的系统比较和消融实验。表 2 (https://arxiv.org/html/2607.20872#S3.T2) 总结了基准结构。

### 3.3 引文可信度维度

引文可信度通过三个引文级判断来操作化：存在性、忠实性和适用性。这种分解将编造或无法解析的来源与更具情境性的法律失败区分开来：报告可能引用真实的权威，却遗漏了限制条件、夸大了规则，或使用一个背景来源来支撑更强的地方性主张。
- **存在性**：询问被引用的法律来源是否可被解析，包括法律名称、条款编号、规范性文件、案例名称、案号或判决。
- **忠实性**：询问报告是否忠实地描述了来源内容，包括条件、例外、事实、裁判要旨或法律规则。
- **适用性**：询问该来源是否支撑其被引用的局部主张，而不仅仅涉及同一主题或支撑一个更窄的命题。

附录 A (https://arxiv.org/html/2607.20872#A1) 详细说明了引文验证流程和聚合规则，附录 D (https://arxiv.org/html/2607.20872#A4) 提供了代表性的定性示例。

**表 3：指标层级和计算概览。** 缩进表示下级组件。分数符号定义见第 3.4 节 (https://arxiv.org/html/2607.20872#S3.SS4)。

**表 4：主评估中的系统。**

### 3.4 评估指标

LegalCiteTrust 报告标准化的报告级覆盖度、支撑度和可信度分数，分别记为 \( s_{\mathrm{cov}} \)、\( s_{\mathrm{sup}} \) 和 \( s_{\mathrm{trust}} \)。表 3 (https://arxiv.org/html/2607.20872#S3.T3) 总结了指标层级；附录 A (https://arxiv.org/html/2607.20872#A1) 提供了标签映射、标准化规则和聚合细节。

支撑度结合了细目级证据支撑和子议题级权威支撑：
\[
s_{\mathrm{sup}} = 0.5 \times s_{\mathrm{rubric}} + 0.5 \times s_{\mathrm{subtopic}}.
\]
支撑度的计算独立于 E/F/A 可信度分数：它衡量证据丰富度和权威覆盖度，而可信度衡量引文可靠性。

对于每条被包含的法律或案例引文项 \( i \)，存在性、忠实性和适用性分数相乘并平均为报告级可信度：
\[
s_{\mathrm{trust}} = \frac{1}{N_{\mathrm{cite}}} \sum_{i=1}^{N_{\mathrm{cite}}} E_i F_i A_i.
\]
如果一份报告不包含任何法律法规/案例引文项，则 \( s_{\mathrm{trust}} \) 设为 1.0，因为可信度以被包含的引文为条件；引文稀缺性由支撑度和引文数量诊断指标来捕捉。

最终报告分数结合了报告完整性和引文可信度：
\[
s_{\mathrm{final}} = (s_{\mathrm{cov}} + s_{\mathrm{sup}}) \times s_{\mathrm{trust}}.
\]
由于覆盖度、支撑度和可信度均标准化为 [0,1]，\( s_{\mathrm{final}} \) 的取值范围为 0 到 2，且不再进一步标准化。主要排行榜分数使用报告级的宏观平均值，而项级的 E/F/A 诊断表则使用 [此处原文截断，但翻译需保留结构]