时间作为结构:用于法律文件可验证截止日期计算的时间依赖图

arXiv cs.CL 论文

摘要

本文介绍了从法律文件中提取时间依赖图以计算提交截止日期的方法,并表明管道方法在准确性上优于直接的语言模型回答。

arXiv:2608.15270v1 公告类型:新 摘要:错过提交截止日期一天,无论案件多么有力,索赔将被禁止。计算该截止日期很少简单:期限从触发事件开始,按法定惯例计算,并可能被强制调解窗口暂停。我们探讨语言模型是否应该直接回答此类问题,还是阅读文档并将算术运算交给代码。我们将带日期的事实及其依赖关系提取到时间依赖图中,并使用日历校正引擎从中计算截止日期。在英国就业上诉法庭的判决中,该引擎重现了七项时效裁决中的六项,并与法官自身的日期逐日匹配。在被问及相同案件时,四个语言模型中最强的一个算术正确但答案错误:在二十一个回应中,有六个其陈述的结论与自身的思考相矛盾,且每个矛盾都以相同方式进行,将逾期索赔判定为及时。为了大规模测试系统,我们将解雇日期移过法定边界,生成427个案例,其答案是计算而非标注的。在两个系统都回答的案例中,管道方法的正确率为90.2%,而直接回答的正确率为61.2%。限制在于提取:在合同中,错误几乎从不在算术上,而在于选择期限从哪个事件开始。
查看原文
查看缓存全文

缓存时间: 2026/08/18 10:03

# 用于法律文件可验证截止日期计算的时间依赖图
来源:https://arxiv.org/html/2608.15270
## 时间即结构:法律文件可验证截止日期计算的时间依赖图

Lifeng Han, Suzan Verberne
所属机构:莱顿大学莱顿高等计算机科学研究所 (LIACS)
邮箱:[[email protected]](mailto:)

###### 摘要

错过提交截止日期哪怕一天,索赔就可能被驳回,无论案件多么有力。计算这个截止日期很少是简单的过程:期限从一个触发事件开始,按照法定惯例计算,并可能因强制调解窗口期而暂停。我们探讨语言模型应该直接回答这类问题,还是应该阅读文档并将计算留给代码处理。我们将带日期的事实及其依赖关系提取到一个时间依赖图中,并使用一个日历正确的引擎从中计算截止日期。在英国就业上诉法庭的判决中,该引擎重现了七项时效裁决中的六项,并且计算的日期与法官给出的日期精确匹配到天。四个语言模型中最强的一个被问到同样的案件时,计算正确但答案错误:在二十一个回复中,有六个回复其陈述的裁决与自身推理相矛盾,并且所有矛盾都朝着同一个方向发展,即声称逾期索赔为及时。为了大规模测试系统,我们调整解雇日期使其跨越法定边界,生成了427个案例,其答案是通过计算而非标注得出的。在两个系统都给出答案的案例中,该流程的正确率为90.2%,而直接回答的正确率仅为61.2%。局限在于提取:在合同案例中,错误几乎从不出现在计算环节,而在于选择哪个事件作为期限的起点。

††本文基于作者在莱顿大学的硕士论文。代码、规则包和评估工具已发布;请参见"制品可用性"部分。

## 1 引言

法律文件包含相互依赖的日期网络。提交截止日期可能定义为从生效日期开始的三个月,由早期调解期延长,并与文件其他地方记录的提出日期进行比较。弄错这个链条是无法补救的,因为时效期是司法管辖区的边界,无论案件价值如何,晚一天提出的索赔都会被驳回。在英国一级法庭(移民和庇护法庭),记录为无效或超时的案件处置比例从2023/24年的3%上升到截至2026年3月季度的9%(参见 https://arxiv.org/html/2608.15270#bib.bib1)。

现有的提取系统会单独规范化每个时间表达式11 (https://arxiv.org/html/2608.15270#bib.bib2),而不记录哪个日期来自哪个日期,因此对一个日期的修正不会传播。将整个文档交给语言模型,要求其在单次处理中识别管控事件、解释规则、执行计算并报告结果。当嵌套的法律语言仍然是一个瓶颈时,语言模型能合理地排序法律事件1 (https://arxiv.org/html/2608.15270#bib.bib3),并且在正式路径中,它们可能报告一个结论而不执行支持该结论的推理12 (https://arxiv.org/html/2608.15270#bib.bib4)。仅有一个综合错误率本身也是不够的。一项对前沿模型在合同审查语料库上的审计发现,两个系统可能错误频率相同但错误方向相反,并提出了一个单独的指标来衡量错误方向14 (https://arxiv.org/html/2608.15270#bib.bib5)。在这两个方向中,危险程度并非等同。一个工具报告截止日期已过而实际未过,会促使人们去检查;而报告还有时间但实际已无时间则不会引起注意。

我们研究一种分工,其中提取和计算是分离的组件。中间表示是时间依赖图(TDG),这是一个有向图,其节点是带日期的事实,其边是类型化的时间依赖关系。可以由基于规则的流程或语言模型来构建该图。然后,一个确定性引擎应用日历算术、法定计数惯例和咨询、调解和仲裁服务(ACAS)调解暂停规则,并返回它选择的锚点、它应用的规则、中间日期和一个置信度分数。当引擎无法确定提取的事实中哪个对应于法定锚点概念时,它会中止并报告原因。

我们提出两个问题。第一,与直接回答相比,显式结构是否能改善时间推理,以及这种差异如何随着依赖链的延长而变化。第二,当前的提取是否能从法律散文中恢复足够的结构来支持计算。五项评估涉及这些方面:一个包含210个项目的受控基准测试、一个对41份合同的审计提取比较、一个针对近期英国就业案件的端到端评估、一个包含427个项目的反事实扫描(答案通过计算而非标注得出),以及一个不使用真实标签的一致性度量。Catala验证、矛盾检测以及到成对排序的迁移测试包含在附录中。

我们的贡献如下:
- • 一个基于显式时间图的确定性引擎,重现了七项法庭时效裁决中的六项和全部三项法官陈述的日期,其法定规则是从法规文本中恢复的。
- • 一个在相同案例上的四模型基线,具有工作层面审计,识别了一个价值层面指标未检测到的失败:在GPT系列的二十一个回复中,有六个回复其发出的裁决与同一回复中的推理相矛盾,在所有六种情况下都声称逾期索赔为及时。
- • 一个类似GSM-Symbolic8 (https://arxiv.org/html/2608.15270#bib.bib12) 风格的反事实工具,它扰动锚点日期使其跨越法定边界,并通过引擎重新计算真实标签,给出427个条目,其标签无法被任何纯文本系统从记忆中恢复。
- • 对两个提取器的全面逐边审计,将瓶颈定位在锚点选择而非算术。
- • 一个不消耗真实标签的一致性度量,应用于两个条件下的三个模型,显示消除自相矛盾并不能提高裁决准确性。
- • 引擎、图表示、法定规则包和评估工具的开源发布。

## 2 相关工作

时间信息提取识别并规范化日期、持续时间与时间段。HeidelTime11 (https://arxiv.org/html/2608.15270#bib.bib2) 是一个广泛使用的基于规则的系统。它主要独立地规范化表达式,不记录哪个事件源自哪个事件。LexTime1 (https://arxiv.org/html/2608.15270#bib.bib3) 表明语言模型能合理地排序法律事件,而嵌套法律语言仍然是一个瓶颈。本文研究的任务超越了成对排序,涉及锚点识别、法定规则应用、日历算术以及与法院自身数字相比的截止日期计算。

这项工作也与法律形式化相关。Catala6 (https://arxiv.org/html/2608.15270#bib.bib6) 是一种结构模仿法规文本的编程语言,Monat等人9 (https://arxiv.org/html/2068.15270#bib.bib7) 提供了法律日期算术的机械化语义以及检测计数歧义性的分析。最近的研究考察了语言模型将法律翻译成Catala类表示的过程,以及该路径中文档忠实性失败5 (https://arxiv.org/html/2608.15270#bib.bib8);12 (https://arxiv.org/html/2608.15270#bib.bib4)。那些研究通过与参考翻译的相似性来评估生成的代码。我们通过执行来评估,将计算出的截止日期与法院使用的日期进行比较。

作为一项任务的法规推理由SARA3 (https://arxiv.org/html/2608.15270#bib.bib9) 确立,本文研究法庭的结果预测由CLC-UKET13 (https://arxiv.org/html/2608.15270#bib.bib10) 确立,法规引导的数值计算由LexNum15 (https://arxiv.org/html/2608.15270#bib.bib11) 确立。我们的扰动设计遵循GSM-Symbolic8 (https://arxiv.org/html/2608.15270#bib.bib12),并用从法规中计算出的预言答案取代其模板化答案。

## 3 数据与任务

#### 合同。

我们从Multi_Legal_Pile10 (https://arxiv.org/html/2608.15270#bib.bib13) 的 en_contracts 子集中抽样了50个种子。这返回了45个文档,其中41个在源文本的精确哈希下是唯一的。重复项是一个文档出现了三次,两个文档出现了两次。下面所有的提取数字都是在这41个唯一文档上计算的。

#### 法规与案例。

截止日期任务使用《1996年就业权利法》第111条、《2010年平等法》第123条以及相应的ACAS延期条款的即时版本,从 legislation.gov.uk 检索。测试案例是六项在2025年和2026年裁决的就业上诉法庭(EAT)判决。一项判决在两项法规下都进行了评估,给出了七个法规-案例行。所有六项判决都晚于测试的所有模型的训练截止日期。

表1 (https://arxiv.org/html/2608.15270#S3.T1) 将每个案例映射到其中性引用。当事人姓名属于个人数据,此处不打印,但中性引用不包含姓名,并可在 Find Case Law 上检索到判决,因此下面计算的每个值都可以对照已识别的公开判决进行验证。文中使用缩写助记。

引用 | 法规 | 缩写
---|---|---
[2026] EAT 64 | ERA s.111; EqA s.123 | 两项法规
[2025] EAT 155 | ERA s.111 | 终止日期
[2026] EAT 14 | ERA s.111 | 内部上诉
[2026] EAT 76 | EqA s.123 | 长时间延迟
[2026] EAT 46 | EqA s.123 | 持续行为*
[2026] EAT 59 | ERA s.111 | 文件限定*

表1:黄金集中的六项EAT判决。第一项在两项法规下评分,给出七行法规-案例数据。
* 由法庭本身匿名化。

#### 黄金标注。

每一行记录法定锚点、索赔提出日期、适用延期时的ACAS证书日期、法庭裁决,以及判决中说明的截止日期或边界日期(如判决所说明)。七行中有两行包含法官陈述的截止日期,一行包含法官陈述的边界日期。每个字段都链接到逐字引用,并通过脚本对源文本进行字节检查验证。

#### 泄露控制。

为了直接评估,我们删除了所有说明截止日期、天数或时效结论的句子,泄露检查确认没有截止日期值残留。有一种泄露无法移除:一方对其败诉部分提起上诉,因此上诉的方向可能暗示一审裁决。因此,我们认为截止日期精确性和工作层面一致性比单纯的裁决准确性更可靠,并报告了尊重上诉方向对结果产生影响的地方。

## 4 方法

图1 (https://arxiv.org/html/2608.15270#S4.F1) 展示了各组件及其连接方式。提取和计算是分离的,因此失败可以归因于产生它的层。

[系统架构图]
确定性引擎 <- 规范 | 法庭判决(删节或全文) | LLM提取器(单提示,JSON事实+关系) | 基于规则的提取器(HeidelTime + spaCy + 图构建器) -> 任一提取器 -> 案例TDG(带日期的事实,类型化的边) -> 规范说明(期限,锚点概念,计数惯例) -> 1. 锚点匹配器:将法定概念绑定到案例事实 -> 2. 日历算术:锚点++期限-1天,真实月份和闰年 -> 3. 调解暂停:暂停第A天到第B天,至少一个月底限 -> 截止日期与裁决(包含锚点、规则、算术和置信度) | 弃权(命名原因,置信度0.00:锚点绑定无候选,或候选冲突)
直接基线(虚线路径):模型读取两种输入,单次回答 -> 截止日期与裁决(无弃权选项) -> 比较条件

图1:系统架构。任一提取器生成案例TDG,规范部分通过相同流程产生规则说明。确定性引擎将法定锚点概念绑定到案例事实,应用日历算术和调解暂停,并返回带有完整工作过程的截止日期或带有命名原因的弃权。虚线路径是直接基线,接收相同的两种输入并在单次处理中回答。

### 4.1 时间依赖图

TDG中的节点存储一个实体、一个语义角色(属于{开始, 结束, 持续时间})和一个规范化为ISO 8601的日期。边是类型化的。加法边携带一个 delta_days 偏移量,并指出目标日期是通过该偏移量从源日期计算得出的。排序边指出顺序而无偏移量。这种类型区分决定了引擎能执行什么:只有具有已解析源日期的加法边才支持算术。附录B (https://arxiv.org/html/2608.15270#A2) 提供了模式和一个实例图。

### 4.2 提取

基于规则的流程运行四个步骤。HeidelTime提取并规范化时间表达式。角色分类器从日期标记遍历spaCy4 (https://arxiv.org/html/2608.15270#bib.bib15) 依存树,到其从句的主要动词,并匹配词元,因此 began, beginning 和 starts 都映射到开始角色,对于法律属格如 "Decision of 18 March 1992" 有特殊情况。实体链接器使用命名实体识别和共指消解将日期附加到实体。图构建器收集共享实体的开始-结束对,比较日历间隔与文档中每个声明的持续时间,并在持续时间匹配时将边类型化为加法边,否则为排序边。

HeidelTime解析不完整的表达式如 "by 31 March" 是针对文档创建时间的,而本语料库未提供该时间。一个固定的全局值将此类日期置于文档自身期限之外,在一个1984年的文件中产生了2020年的日期。因此,我们从文档中最早的显式日期推导每个文档的创建时间,忽略裸露年份,因为引用年份不是文档日期。这解决了45个文档中的43个。

大语言模型(LLM)流程用单个提示取代了所有四个步骤。模型接收原始文档并返回包含事实和关系的JSON。提示提供了加法依赖的触发短语(within X days of, no later than X days from)、一个从 within 30 days of the effective date 到 delta_days: 30 的加法边的映射实例,以及防止货币金额和百分比被类型化为持续时间的反例。后处理移除自环,降级源句子中不含触发短语的加法边,并降级目标已带有固定日历日期的边。

### 4.3 确定性截止日期引擎

引擎接收一个法规图和一个案例图。匹配器将法定锚点概念绑定到案例图中的一个事实。然后引擎使用真实的月份长度和闰年计算截止日期。

对于措辞为“自锚点起”开始期限的,英国惯例使三个月期限在锚点之后三个日历月结束,减去一天。引擎将其实现为锚点 ++ 3个月 - 1天,并明确处理月末舍入。ERA第207B条和EqA第140B条在第A天(联系ACAS的日期)和第B天(证书签发日期)之间暂停时钟,并保证在第B天后至少一个月。引擎实现了暂停、一个月的最低要求、重新锚定规则以及第A天落在主要期限内的先决条件。所有惯例都由单元测试覆盖。附录A (https://arxiv.org/html/2608.15270#A1) 中的图2 (https://arxiv.org/html/2608.15270#A1.F2) 在一个合作案例中显示了这些量。

相似文章

基于合约的LLM代理符号时间监督

arXiv cs.AI

本文介绍了ContrAgent,一个基于合约的框架,用于对LLM代理进行符号时间监督,确保在在线和离线模式下以低延迟执行确定性安全检查。

大型语言模型中时间偏好概念及其功能

arXiv cs.LG

本文在蒸馏大型语言模型中因果定位了用于时间偏好的子图,发现该模型对未来折现的幅度比人类更平缓,并且引导向量可以改变时间偏好,凸显了显式控制机制的必要性。