HKJudge:一个用于解读法院认定、推理和裁决的法律话语标注语料库

arXiv cs.CL 论文

摘要

HKJudge是首个针对香港刑事判决进行句子级专家标注的法律话语语料库,包含两层话语标注体系以及基于BERT和LLM模型的基准评估。

arXiv:2606.06679v1 公告类型:新 摘要:法院判决是法律实践和法学的核心,然而香港判决的话语分析却很少受到关注,主要原因是缺乏专家标注的语料库。我们推出了香港判决话语数据集(HKJudge),这是首个句子级专家标注的法律话语语料库。HKJudge 包含香港法院所有五个层级的刑事判决,约29万句,约650万词,由法律语言学专家完成全面标注。我们设计了一个两层话语标注体系,用于捕捉法院认定的事实、推理过程以及裁决结果。在句子层面,每个句子被赋予26种修辞角色之一。在跨度层面,句子进一步标注了三个量刑要素(指控、监禁刑期、罚款)。十位法律语言学标注者完成了标注,标注者间一致性达到 κ=0.8。我们在HKJudge上设定了两个任务,即修辞角色分类和法律要素提取,并提供了首个基准评估,包括四个基于BERT的模型、两个开源大语言模型(在零样本和微调设置下)以及四个商业大语言模型在这两个任务上的表现。我们的工作展示了句子级话语标注对建模香港判决结构的价值,并为未来法律判决预测研究提供了丰富的数据基础。HKJudge 数据集和代码可在 https://github.com/xuanxixi/HKJudge 获取。
查看原文
查看缓存全文

缓存时间: 2026/06/08 09:20

# 法律话语标注语料库:用于解释法院认定的事实、推理过程及裁决结果
来源:https://arxiv.org/html/2606.06679
Xi Xuan1, Wenxin Zhang2, Yufei Zhou1, King-kui Sin1, Chunyu Kit1
1香港城市大学
2中国科学院大学
\{xixuan3, ctckit\}@cityu.edu.hk

###### 摘要

法院判决是法律实践和法理学的核心,然而对香港判决的话语分析至今仍较少受到关注,主要原因在于缺乏专家标注的语料库。我们提出香港判决话语数据集(HKJudge),这是首个经过法律语言学专家在句子级别进行标注的法律话语语料库。HKJudge 包含香港法院体系全部五个层级的刑事判决,总计约 29 万句、约 650 万词,由法律语言学专家完成全部标注。我们设计了一个双层话语模式,用于捕捉法院认定的事实、推理过程及裁决结果。在句子层面,每个句子被赋予 26 种修辞角色之一。在片段层面,句子进一步标注三种量刑要素(控罪、监禁刑期、罚款)。十位法律语言学标注人员的标注者间一致性达到 κ=0.8。我们在 HKJudge 上定义了两个任务:修辞角色分类和法律要素提取,并提供了首个基准评估:在两种任务上,对四种基于 BERT 的模型、两种在零样本和微调设置下的开源大语言模型,以及四种商用大语言模型进行评估。我们的工作证明了句子级别话语标注对于建模香港判决结构的价值,并为未来法律判决预测研究提供了丰富的数据基础。HKJudge 数据集和代码可在 https://github.com/xuanxixi/HKJudge 获取。

HKJudge:用于解释法院认定的事实、推理过程及裁决结果的法律话语标注语料库

Xi Xuan1, Wenxin Zhang2, Yufei Zhou1, King-kui Sin1, Chunyu Kit1
1香港城市大学
2中国科学院大学
\{xixuan3, ctckit\}@cityu.edu.hk

## 1 引言

法院判决是法律行业最重要的法律体裁之一,无论是在法律实践还是法理学中都是如此(Cheng 等,2008a (https://arxiv.org/html/2606.06679#bib.bib65))。它们是具有执行功能的言语行为,其基本作用是裁判,同时在同一份文件中实现宣示、证明和合法化等目的(Maley, 2014 (https://arxiv.org/html/2606.06679#bib.bib66))。要使判决可用于下游自然语言处理任务——包括法律检索(Werner, 1981 (https://arxiv.org/html/2606.06679#bib.bib70);Mo 等,2025 (https://arxiv.org/html/2606.06679#bib.bib73))、案例分析(Li 等,2025 (https://arxiv.org/html/2606.06679#bib.bib4))和法律判决预测(LJP)(Gillman, 2001 (https://arxiv.org/html/2606.06679#bib.bib74);He 等,2024 (https://arxiv.org/html/2606.06679#bib.bib72);Dancy 和 Zalnieriute, 2026 (https://arxiv.org/html/2606.06679#bib.bib75))——就需要对法律文件的通用结构进行建模。这种结构建模可以缩小搜索空间,有助于识别修辞段落,从而提高处理法院判决的工作效率(Saravanan, 2010 (https://arxiv.org/html/2606.06679#bib.bib15);Han 等,2018 (https://arxiv.org/html/2606.06679#bib.bib12);Kalamkar 等,2022 (https://arxiv.org/html/2606.06679#bib.bib41))。

尽管在建模印度(Ghosh, 2019 (https://arxiv.org/html/2606.06679#bib.bib37);Kalamkar 等,2022 (https://arxiv.org/html/2606.06679#bib.bib41);Nigam 等,2025 (https://arxiv.org/html/2606.06679#bib.bib40))、欧洲(Rosas, 2007 (https://arxiv.org/html/2606.06679#bib.bib109);Held 和 Habernal, 2026 (https://arxiv.org/html/2606.06679#bib.bib110))、美国(Robinson, 2013 (https://arxiv.org/html/2606.06679#bib.bib111);Williams, 2022 (https://arxiv.org/html/2606.06679#bib.bib112);Shu 等,2024 (https://arxiv.org/html/2606.06679#bib.bib113))和中国大陆(Xiao 等,2018 (https://arxiv.org/html/2606.06679#bib.bib39);Liebman 等,2020 (https://arxiv.org/html/2606.06679#bib.bib13);Fei 等,2025 (https://arxiv.org/html/2606.06679#bib.bib14))法律体系下的法院判决结构方面取得了显著进展,但针对香港判例法的类似资源仍然稀缺。香港法院判决产生于一个双语普通法体系,拥有自己的上诉层级(Cheng 等,2008a (https://arxiv.org/html/2606.06679#bib.bib65);Yu, 2023 (https://arxiv.org/html/2606.06679#bib.bib23);Xuan 等,2024b (https://arxiv.org/html/2606.06679#bib.bib104)),其起草惯例和话语结构与上述语料库不同,尤其在引证实践(Cheng, 2015 (https://arxiv.org/html/2606.06679#bib.bib31))、量刑话语(Yu, 2025 (https://arxiv.org/html/2606.06679#bib.bib30);Xuan 等,2026c (https://arxiv.org/html/2606.06679#bib.bib108))和双语推理(Cheng 和 He, 2016 (https://arxiv.org/html/2606.06679#bib.bib29);Xuan 等,2025 (https://arxiv.org/html/2606.06679#bib.bib105))方面。因此,直接迁移在其他法域上训练的模型并不可靠。

参见图注 图1:HKJudge 标注流程概览。阶段1(左):一份匿名化的香港区域法院刑事判决。阶段2(中):每个句子被标注为26种修辞角色之一(完整定义见附录C (https://arxiv.org/html/2606.06679#A3)),分为四类:事实(F)、推理(I)、结果(R)和其他(O);展示了12个代表性标签。阶段3(右):HKJudge 数据集摘要(4,000份文档,约29万句,26个标签)以及从 R 标注句子中提取的三种片段级要素类型:控罪、刑期和罚款。

此前该领域的研究强调了标注数据集对于训练有效模型的重要性。然而,目前尚未有由法律语言学专家进行完整标注的公开数据集可用于香港法律判决预测任务。许多现有研究仅依赖规模较小、只有粗粒度三级标签(事实、推理和裁决)的标注数据集,导致控罪和前科记录共享同一标签,且判例推理与引用条例的推理未被区分,这限制了它们在实际场景中用于法律判决预测系统的效果。少数现有的香港法律数据集资源各有重要局限。例如,Sen (2023) (https://arxiv.org/html/2606.06679#bib.bib10) 提出的 Legal-NLP 数据集是通过正则表达式和语义解析从 HKLII 判决中构建的,没有经过专家对修辞结构的标注。HKCFA Judgment 97-22 数据集(Xuan 和 Kit, 2026 (https://arxiv.org/html/2606.06679#bib.bib11))面向法律翻译而非话语分析,且仅涵盖终审法院的判决。来自 LegalReasoner 框架的 LegalHK 数据集(Shi 等,2025 (https://arxiv.org/html/2606.06679#bib.bib86))依赖 GPT-4 从司法文件中提取结构化信息,仅由司法专家进行部分人工审核,排除了上诉法院和终审法院的上诉案件,且仅捕获三个粗粒度的功能块,没有句子级别的修辞角色。

我们认为有必要引入一种统一的研究模式,能够快速纳入法律的新领域和应用。在这项工作中,我们开发了一个统一的话语模式来描述香港法院判决的特征。话语分析是研究文本如何在句子层级以上组织成功能段落的一种方法(Gill, 2000 (https://arxiv.org/html/2606.06679#bib.bib48);Joty 等,2019 (https://arxiv.org/html/2606.06679#bib.bib47);Gee, 2025 (https://arxiv.org/html/2606.06679#bib.bib49)),已成功应用于新闻事件(Nakshatri 等,2025 (https://arxiv.org/html/2606.06679#bib.bib46))、对话理解(Ko 等,2023 (https://arxiv.org/html/2606.06679#bib.bib44);Xuan 等,2026a (https://arxiv.org/html/2606.06679#bib.bib107))、网络文档(Liu 等,2023a (https://arxiv.org/html/2606.06679#bib.bib43))、法律文档(Sovrano 等,2025 (https://arxiv.org/html/2606.06679#bib.bib42))以及合成内容特征描述(Xuan 等,2024a (https://arxiv.org/html/2606.06679#bib.bib103);Xuan 等,2025 (https://arxiv.org/html/2606.06679#bib.bib100);Lin 等,2025 (https://arxiv.org/html/2606.06679#bib.bib99);Li 等,2026 (https://arxiv.org/html/2606.06679#bib.bib101);Xuan 等,2026b (https://arxiv.org/html/2606.06679#bib.bib102);Zhang 等,2026 (https://arxiv.org/html/2606.06679#bib.bib106))。在法律领域,Sovrano 等(2025 (https://arxiv.org/html/2606.06679#bib.bib42))有效利用话语分析进行法律问答,在不进行微调或重新训练所涉及法规的语言模型的情况下提升了最先进水平。

在这项工作中,我们开发了一个法律话语模式来满足这一需求。该模式的核心旨在回答关于每个判决的三个问题:(1)法院认定了哪些事实,(2)法院如何推理,(3)法院作出了什么裁决。我们表明,预训练编码器和 LLM 都难以建模这一模式,而法律语言学专家却能够以高标注者间一致性对其进行标注。总之,本文做出了三项关键贡献:

1. 1. 引入、标注和建模法律话语模式:我们开发了一个香港法律话语模式,包含 3 个片段级和 26 个句子级修辞角色类别,其中部分类别在图1 (https://arxiv.org/html/2606.06679#S1.F1) 中展示。我们构建了由法律语言学专家标注的法院判决数据集,包含 148,600 个片段和 292,240 个修辞角色标注。我们表明该模式能够以高标注者间一致性进行标注。此外,我们展示 LLM 模型(零样本和微调)优于基于 BERT 的模型。
2. 2. 网络爬取公开香港判例法:我们构建了网络爬虫,收集了 1968 年至 2024 年间来自五个香港法院的超过 4,000 份判决,包括终审法院、上诉法院、原讼法庭、区域法院和裁判法院。香港判决受香港特别行政区政府版权保护,但可供私人和学术使用。222https://www.judiciary.hk/en/other_information/disclaimer.html。我们的爬虫遵守司法机构法律参考系统333https://legalref.judiciary.hk/ 的访问政策,并使用速率限制的请求。
3. 3. 基于 BERT 和 LLM 的方法在法院判决标注上的基准测试:我们在零样本和微调设置下评估了四种基于 BERT 的方法、开源 LLM 和商用 LLM(包括 GPT-4、Claude 和 Gemini)。尽管微调带来了显著提升,但所有 LLM 仍明显逊于人类专家标注者和商用 LLM,这突显了专家标注的价值,并指出了法律 LLM 推理中的开放挑战。

## 2 法律话语模式

法院判决具有多重功能,包括裁判、宣示、证明和合法化(Maley, 2014 (https://arxiv.org/html/2606.06679#bib.bib66))。因此,在话语层面对其结构进行建模为理解法律推理提供了有效切入点(Carlson 等,2003 (https://arxiv.org/html/2606.06679#bib.bib50);Prasad 等,2017 (https://arxiv.org/html/2606.06679#bib.bib81)),并支持下游任务,包括法律检索(Mo 等,2025 (https://arxiv.org/html/2606.06679#bib.bib73))、案例摘要(Li 等,2025 (https://arxiv.org/html/2606.06679#bib.bib4))和法律判决预测(Aletras 等,2016 (https://arxiv.org/html/2606.06679#bib.bib88);Malik 等,2021 (https://arxiv.org/html/2606.06679#bib.bib82);Shi 等,2025 (https://arxiv.org/html/2606.06679#bib.bib86);Dancy 和 Zalnieriute, 2026 (https://arxiv.org/html/2606.06679#bib.bib75))。特别地,香港法院判决可以按照标题、引言、事实、分析和结论等修辞角色进行分段(Cheng 等,2008b (https://arxiv.org/html/2606.06679#bib.bib84))。

如图1 (https://arxiv.org/html/2606.06679#S1.F1) 所示,将法律原则的不同修辞角色建模为话语单元并研究它们之间的交互,可以成为理解意义的有效方式(Carlson 等,2003 (https://arxiv.org/html/2606.06679#bib.bib50);Prasad 等,2017 (https://arxiv.org/html/2606.06679#bib.bib81))。识别这些部分构成了对模型法律推理能力的基本测试,并开启了实际应用,正如 Hendrycks 等人(2021 (https://arxiv.org/html/2606.06679#bib.bib83))在合同审查中所证明的那样。我们相应地引入了一个模式,在两层上捕捉这种区别:从句子级别的标注开始,扩展到片段级别的三种结果要素提取,即控罪(被定罪所依据的罪行)、监禁刑期(监禁刑罚的长度)和罚款(金钱处罚)。

### 2.1 话语层面模式

我们在法律话语模式中识别出的四种话语功能是:事实、推理、结果和其他。前三种功能对应每个判决所承载的三个信息层面,而其他则是一个剩余类别,涵盖程序性或公式化的句子,不属于前三者。前三种功能——事实、推理和结果——捕捉了判决如何从既定事实出发,经过法院的推理,最终得出裁决,这受 Cheng 等人(2008b (https://arxiv.org/html/2606.06679#bib.bib84))对香港法院判决结构所做的对比分析启发。我们依次描述每个类别。

- •**事实(F)**句子通常报告提交给法院的信息,而不表达法院本身的评价。我们根据程序来源和证据状态区分出 15 个子标签:F0-控罪、F1-争议点、F2-事件、F3-补充、F4-先前信息、F5-前科、F6-论据、F7-陪审团、F8-其他、F9-承认、F10-主张、F11-提问、F12-回答、F13-反对、F14-陪审团指示。F11–F14 通常源自法庭内部,而 F2–F5 通常源自法庭外部。(例如,“被告 24 岁,有 2 项定罪记录,包括 2 项‘盗窃’罪、3 项‘抢劫’罪和 1 项‘意图抢劫’罪。”被标注为 F3-补充。)
- •**推理(I)**句子是指法院自行推理以作出决定的句子。我们根据所引用的权威来源区分出 8 个子标签:I1-判例法、I2-条例、I3-立法、I4-惯例、I5-陪审团、I6-主张、I7-其他、I8-提问。与事实的边界往往取决于谁在说话,因为一方的论点和法官的推理可能在词汇上相似。(例如,“它没有确定一个它认为有益的意图,然后解释法规以适应它。”被标注为 I1-判例法。)
- •**结果(R)**句子陈述案件的处理结果,包含两个子标签:R(最终裁定)和 R-其他(与之相关的补充内容,如澄清、计算、后果说明)。边界可能很微妙,因为在同一段落中,解释性材料可能插入在连续的实质性裁定之间。(例如,“基于此理由,并鉴于上诉人针对第三答辩人作出的让步,针对所有答辩人的上诉必须被驳回。”被标注为 R。)

我们在附录C (https://arxiv.org/html/2606.06679#A3) 中给出了修辞角色子标签的完整定义。J

相似文章

SenseJudge: 以人为中心的偏好驱动判断框架

arXiv cs.CL

SenseJudge是一个以人为中心的框架,用于可定制的LLM评判,能够适应多样的用户偏好,优于现有方法。它还引入了SenseBench,一个从真实世界多轮交互中衍生的基准测试。

JudgeArena:可复现的LLM裁判评估统一框架

arXiv cs.CL

JudgeArena是一个开源框架,将主要的LLM裁判基准统一在单一接口下,支持对裁判选择的系统研究,并提供与闭源模型相当或更优的开源模型裁判,同时能够模拟LMArena Elo分数。

评判电路

arXiv cs.CL

本文研究了LLM-as-a-judge的内部机制,发现模型在中期到后期的多层感知机(MLP)中共享一个稀疏的潜在评估器子图,该子图处理抽象评判,而格式特定的终端分支将评判映射到输出令牌,揭示了格式导致的不一致性的原因。