AILQA：面向印度法律体系的AI驱动法律问答系统评估

# AILQA: 评估面向印度法律体系的人工智能法律问答系统

来源：https://arxiv.org/html/2607.18825  
\[1,4\]\fnmShubham Kumar\surNigam\equalcont 这些作者对本文贡献相同。

\equalcont

这些作者对本文贡献相同。

\[1\]\orgdiv计算机科学与工程，\orgname印度理工学院，\orgaddress\city坎普尔，\postcode208016，\state北方邦，\country印度

\[2\]\orgdiv法学，\orgname共生法学院，\orgaddress\city浦那，\postcode411014，\state马哈拉施特拉邦，\country印度

\[3\]\orgdiv计算与数据科学系，\orgname印度科学教育与研究学院，\orgaddress\city加尔各答，\postcode741246，\state西孟加拉邦，\country印度

\[4\]\orgdiv计算机科学学院，\orgname伯明翰大学，\orgaddress\state迪拜，\country阿联酋

###### 摘要

这项综合性研究介绍了一个为印度法律背景量身定制的高级人工智能法律问答系统——AILQA。AILQA 利用多种嵌入和生成模型，包括最新的大型语言模型 (LLM)，以应对印度法律文本复杂多样所带来的独特挑战，从而提高法律问题回答的准确性和可靠性。我们使用词汇和语义指标进行了严格的评估，并结合专家法律反馈以确保相关性和准确性。我们的研究结果强调了检索增强生成 (RAG) 范式在提高答案质量方面的有效性，特别是在复杂的法律领域。此外，我们还在全印度律师资格考试 (AIBE) 等标准化测试上评估了性能，为实际应用提供了稳健的基准。在本研究的评估协议下，一些 AI 生成的回答获得了比现有参考答案更高的评分，尤其是当它们包含准确且相关的支持细节时。这一发现仅针对所评估的数据集和评分标准，不应被解释为这些模型普遍优于合格法律专业人士的证据。我们还讨论了遇到的挑战，例如精确上下文的需求和模型幻觉的风险，并提出了未来研究方向，以进一步完善法律领域的 AI 能力。本研究旨在为增强法律决策支持系统铺平道路，使法律专业人士和公众都能更方便、更有效地使用这些系统。

###### 关键词：

法律问答，检索增强生成 (RAG)，大型语言模型 (LLM)，嵌入模型，问答模型，印度法律领域，法律专家评分

## 1 引言

问答 (QA) 是一项人工智能 (AI) 任务，它利用自然语言处理 (NLP) 来解释和回答自然语言查询，模拟人际互动[allam2012question, choi2018quac]。深度学习技术的最新进展，特别是像生成式预训练变换器 3 (GPT-3) 和 BERT 这样的模型，显著增强了 QA 系统从大型非结构化数据集中提取相关信息的能力[devlin2018bert, qu2019bert, wang2019multi, kassner2020bert]。这些系统越来越多地应用于医疗、客户服务和教育等不同领域，从而大幅提升了信息处理效率和服务交付质量。

在法律领域，QA 系统的实施提供了创新解决方案，尤其是在拥有先进 AI 基础设施的国家，如美国、英国和巴西。在这些司法管辖区，法律 QA 系统已整合到法庭程序和公共法律服务中，协助案件摘要、证据评估甚至预测性判决。例如，在美国，一些州正在试验使用 AI 来协助处理轻微交通违规裁决和初步听证评估[king2020artificial]。同样，在英国，AI 正在试点用于导航法律文件，并向律师和法官建议相关先例案件[collenette2023explainable, drake2022legal]，从而简化法律研究工作。

尽管取得了这些进展，AI 在印度法律体系中的应用仍处于初级阶段。与西方同行（其中 AI 驱动系统正逐渐成为法律运作不可或缺的一部分）不同，印度尚未充分拥抱 AI 技术在司法和法律教育中的潜力。印度复杂的法律格局，以其民事、刑事、普通法和习惯法的多样化融合为特点，给 AI 整合带来了独特挑战。此外，将英语作为高等司法和法律文件的主要语言，又增加了另一层复杂性，使得开发有效的 QA 系统更具挑战性。

我们的研究旨在通过专门探索适用于印度法律领域的 QA 模型来弥补这一差距。由于资源限制，我们重点关注以英文处理的刑事案件，旨在展示 AI 在印度背景下改变法律问答的潜力。这项研究不仅解决了技术挑战，还强调了此类创新如何通过提供更便捷的法律信息访问和促进更高效的法律程序，使印度司法机构和法学院学生受益。

图 1 (https://arxiv.org/html/2607.18825#S1.F1) 展示了 AI 在提供法律建议方面的相对有效性。一位寻求网络威胁建议的用户从律师和 AI 代理处得到了截然不同的回答。律师提供了简短、切中要点的答复，建议用户根据网络法提起投诉，并考虑寻求警方协助。同时，AI 代理提供了更详细的解决方案，引用了印度刑法典关于刑事恐吓的第 507 条和 2000 年《信息技术法案》关于网络威胁的条款，以及诸如收集证据和向网络犯罪小组报告等实际步骤。律师的回答则简洁且描述性较低。然而，凭借正确的知识库和精心构建的提示，AI 有潜力提供质量一致的法律建议，可与经验丰富的律师相媲美。这表明 AI 可以帮助标准化法律回应，确保其与人类提供的建议一样详尽和准确，无论律师采用何种方法。

参见图注
图 1：针对网络威胁查询，一个简洁的参考答案与一个更详细的 AI 生成答案的比较。该示例说明了回答详细程度和结构上的差异；更详细的回答本身不应被解释为法律上更正确。

我们的研究贡献重大，因为它们为在尚未成熟的技术环境中引入先进的 AI 工具铺平了道路。我们研究中采用的以下特定模型组合和评估策略，展示了 AI 在某些场景下超越传统法律分析工具能力的潜力，从而为 AI 在印度法律实践中的进一步应用树立了先例：

- **在印度法律问答中引入 RAG：** 我们率先将检索增强生成 (RAG) 范式应用于印度法律体系。这一新颖贡献涉及开发和整合专门定制的 RAG 系统，以处理印度多样化法律框架的复杂性。通过使模型在答案生成过程中动态检索和利用相关过往法律案例和法规，我们增强了模型产生更准确、上下文更相关答案的能力。
- **数据集和代码可用性：** 我们通过公开提供 AILQA 数据集和预测模型，为研究界做出贡献，从而促进法律 AI 研究的透明度和可重复性。
- **探索嵌入模型：** 我们研究了为法律问答量身定制的各种嵌入模型和 QA 模型的组合，并展示了它们在印度法律领域的有效性。
- **全面的评估方法：** 我们建立了一个稳健的评估框架，该框架结合了词汇和语义指标以及专家法律反馈，以评估生成答案的质量。
- **自动评估框架：** 我们实现了一种基于 LLM 的自动评估方法，以补充人类专家判断，从而在保持准确性的同时显著加快评估过程。
- **统计分析：** 我们进行严格的统计测试来验证不同模型及其输出的性能，从而在统计上验证实验结果。

此外，我们通过直方图可视化结果，分析了检索增强生成 (RAG) 对回答我们法律数据集中各类问题的影响。通过提供生成模型（如 LLaMA2-70b 和 GPT-3.5 Turbo）中幻觉的具体例子，我们旨在更好地理解这些模型在法律领域的局限性。为支持进一步研究并确保可重复性，我们已通过 GitHub 链接 1[1] 公开提供了 AILQA 数据集以及我们的预测和解释模型的代码。

## 2 相关工作

近年来，机器学习和自然语言处理技术的进步显著推动了问答 (QA) 系统的发展。BERT（来自变换器的双向编码器表示）[devlin2018bert] 和 GPT（生成式预训练变换器）[floridi2020gpt] 等模型的引入彻底改变了该领域，使系统能够以前所未有的准确性理解和处理自然语言。诸如 [devlin2018bert] 和 [radford2019language] 等研究展示了这些模型在各种领域通用 QA 任务中的有效性，为 AI 驱动的交互设立了新标准。

在这些基础模型之后，研究人员探索了特定的调整和增强，以将 QA 系统定制用于专业应用。例如，yang2018enhancing 引入了结合外部知识库的模型，以改善知识密集型任务中答案的上下文性。

法律领域一直是 AI 驱动解决方案的重点研究领域，特别是在法律判决预测 (LJP) 和问答等任务上。法律判决预测 [strickson2020legal, xu2020multi, feng2023criminal] 侧重于预测法律案件的判决。研究探索了各种机器学习模型，以在欧盟、中国和法国等司法管辖区执行 LJP [xu2020multi]。在印度背景下，通过开发像 ILDC 语料库这样的专门数据集，并利用层次变换器模型进行判决预测，已经尝试了 LJP [malik-etal-2021-ildc, nigam2023nonet, nigam-etal-2024-legal]。这项工作还强调了在预测的同时提供解释，这对于法律 AI 系统的透明度和信任度至关重要。

最近的进展见证了变换器模型在 LJP 特定子领域的应用，例如仅使用案件事实进行预测 [nigam2023fact]。此外，还研究了大型语言模型 (LLM) 在像 ILDC 这样的法律语料库上的性能，显示了改善法律判决预测的有希望的结果 [vats2023llms]。其他地区也探索了类似方法，例如罗马尼亚 [masala2021jurbert] 和韩国 [hwang2022multi]，它们使用特定国家的法律语料库和基准来开发更专门的模型。

除了 LJP，基于检索增强生成 (RAG) 的问答因其能够有效地将检索机制与生成模型相结合来回答复杂查询而受到关注。该领域的一个显著贡献是 RAG-QA 竞技场 [han2024rag]，它评估了长格式 RAG-QA 的领域稳健性。作者提出了长格式稳健问答 (LFRQA)，这是一个数据集，它将多个短抽取式答案整合成连贯的长篇叙述，覆盖七个不同领域。RAG-QA 竞技场进一步利用基于模型的评估器来基准测试 QA 系统的跨领域泛化能力，为未来的 RAG-QA 研究提供了一个稳健的评估平台。这项工作对于评估生成模型在复杂的多文档场景中的有效性尤为相关，并且表明现有的 LLM 难以超越人工标注的长格式答案。

RAG 系统中文档相关性的动态性质在 [hei2024dr] 的近期工作中得到了进一步探索，该研究引入了动态相关检索增强生成 (DR-RAG)。这个两阶段检索框架旨在通过解决传统 RAG 框架的局限性，来提高文档检索召回率和答案的准确性。DR-RAG 提出了一种新方法，从高度相关（静态）文档和可能对生成准确答案仍然至关重要的低相关性（动态）文档中挖掘相关性。通过引入分类器来优化文档检索并最小化冗余信息，DR-RAG 在多跳问答准确性和召回率方面取得了显著改进。该研究展示了 DR-RAG 在各种多跳 QA 数据集上的有效性，显示召回率提高了 86.75%，准确率、精确匹配 (EM) 和 F1 分数分别提高了 6.17%、7.34% 和 9.36%。

此外，[muludi2024retrieval] 的工作介绍了使用 RAG 结合 GPT-3.5 来处理大型外部文档。这项研究侧重于利用 RAG 通过从外部知识源检索信息来补充语言模型的生成能力，从而提高基于文档的问答的准确性。该系统自动处理文档，并根据检索到的内容生成响应来回答用户查询。该研究的贡献包括创建了一个数据集，并使用斯坦福问答数据集 (SQuAD) 进行了性能测试。它证明了 RAG 的优越性，在 ROUGE、BERTScore、BLEU 和 Jaccard 相似性等多项指标上取得了显著改进。这一进展凸显了 RAG 在现实世界应用中的潜力，特别是在减少幻觉和提高 AI 驱动问答系统可靠性方面。

此外，[wiratunga2024cbr] 引入了 CBR-RAG，这是一种用于大型语言模型检索增强生成的基于案例推理方法，用于法律问答。这项工作结合了基于案例推理和 RAG 的优势，有效利用过去的案例和外部知识源来生成准确且相关的法律查询答案。

虽然这些研究侧重于法律判决预测、长格式问答和改进检索策略，但很少有工作涉及使用可解释的生成式 AI 模型进行基于查询的法律问答。回答法律问题的任务与 LJP 密切相关，但需要额外的能力来理解用户查询并检索相关法律内容。

## 3 数据集

### 3.1 数据集编制

我们的数据集是各种法律文档的稳健集合，对于训练和评估法律问答系统至关重要。该集合包括制定法文本、司法判决和权威法律评论。