哪些变化重要？通过相关性敏感评估和求解器推理实现可信赖的法律AI

# 哪些变化重要？通过相关性敏感评估和求解器支撑推理实现可信赖的法律AI  
来源：https://arxiv.org/html/2605.26530  
陈林泽¹，蔡宇凡¹，侯哲²，董劲松¹  
¹新加坡国立大学 ²格里菲斯大学  
[email protected]，[email protected]，[email protected]，[email protected]  

###### 摘要  

法律推理需要区分哪些变化是重要的，哪些不是。法律AI应在法律无关的扰动下保持稳定，但当扰动改变法律实质性要点时则应发生变化。我们将这一要求形式化为法律相关性敏感评估问题：大语言模型（LLMs）应仅对法律相关变化敏感。我们引入了一个统一的评估套件，涵盖司法公正性、鲁棒性和法条混淆场景中的“应改变”与“不应改变”评估。我们的评估表明，现有的法律LLM系统性地对法律无关的变化敏感，且经常无法区分相关的法律要素和法条规则。为缓解这些失败，我们提出了LexGuard，一个基于形式推理的对抗性多智能体框架。LexGuard将法条形式化为可执行约束，利用对抗性智能体提取竞争性的事实–法条论证，并调用SMT求解器验证法律满足性与逻辑一致性。实验表明，LexGuard通过降低对操纵性框架的脆弱性、改善相似法条间的消歧、限制法律无关属性的影响、以及增加良性重述下的一致性，提高了法律推理的可靠性。我们证明，法律可信赖不仅需要准确性，还需要对法律实质性变化具备校准后的敏感性。  

## 1 引言  

大语言模型越来越多地用于法律任务，如法律问答、意见摘要、诉状起草和律师资格考试式推理（Katz et al., 2024；Hendrycks et al., 2021）。然而，法律推理是一个高风险场景，仅凭准确性是不够的。在法治体系中，司法裁决预期满足“形式理性”：结论应由明确、普遍且逻辑连贯的规则（Linna and Linna, 2025；Sadowski and Chudziak, 2025b）加以论证，并可追溯至适用的法规、解释和先例（Kesari et al., 2024）。当前基于LLM的法律系统，包括领域适配模型如ChatLaw（Cui et al., 2023）、LawLLM（Shu et al., 2024）和Lexi（Ho et al., 2025），仍易受虚构权威（Hou et al., 2024）、相似法条混淆（Savelka, 2023）以及无关属性敏感性的影响。法律推理的一个核心要求是决定“哪些变化重要”。对法定要素、主观状态、危害程度或适用例外的更改可能合理改变结果。相反，决策应保持对法律无关扰动的不变性，例如人口统计属性、程序背景、风格性改写、无关专家意见、对抗性框架或误导性的不适用法条引用（Yiran et al.）。区分法律相关与法律无关变化的能力是法治价值的基础：相似案件应同等对待，不同案件应基于法律理由加以区分，法律结论应可追溯至明确且连贯的法律规则。现有证据表明，当前LLM恰恰在这项区分上经常失败（Hu et al., 2025b）。最近的司法公正性评估显示，充当法官的LLM在人口统计、实质性和程序性因素上表现出普遍的不一致性、偏见和不平衡的不准确性。即使法律法规事实不变，LLM也可能被法律三段论推理中大前提、小前提和结论生成阶段的扰动所误导（Yiran et al.）。然而，现有评估通常孤立地研究这些现象。我们将公正且鲁棒的法律推理形式化为“法律相关性敏感评估”问题。我们不只评估LLM是否保持不变，而是询问LLM的推理在“应改变”扰动下是否改变，并在“不应改变”扰动下是否保持稳定。我们还统一了司法公正性、鲁棒性、对抗性框架和法条混淆评估。基于此观点，我们引入了一个新的评估套件，涵盖四类扰动：（1）对法律相关或无关属性的公平性扰动；（2）保持或改变法律含义的鲁棒性扰动；（3）试图操纵结论的对抗性框架扰动；（4）涉及相似法律规则和要素的法条混淆扰动。我们的评估表明，当前LLM在定义的扰动和攻击下往往不稳定。为缓解这些失败，我们提出了LexGuard，一个基于求解器支撑的对抗性多智能体法律推理框架。LexGuard首先将法条规定自动形式化为捕捉法律要素的可执行约束。然后利用检方和辩方对齐的对抗性智能体，从案件叙述中独立提取结构化的事实–法条论证元组。最后，SMT求解器检查竞争性论证是否满足形式化的法律约束，以及它们的结论是否逻辑一致。这种设计将相关性敏感的法律推理转化为一个可审计的过程：法律实质性变化应修改相应法律约束的可满足性，而无关变化则不应。我们在公开法律数据集（Li et al., 2023；Xue et al., 2024）以及我们的相关性敏感评估套件上评估了LexGuard。实验展示了四个方面的改进：标准法律推理性能，包括法条选择、判决预测和量刑质量；法律相关和无关扰动下的公平性；良性改写和对抗性框架攻击下的鲁棒性；以及对法条混淆错误的抵抗能力。除性能提升外，LexGuard还生成经求解器检查的符号化论证，使得法律结论能够对照明确的法律约束进行审计。我们的贡献总结如下：  

- 我们形式化了可信赖法律推理为“法律相关性敏感评估”问题，并以统一的“应改变”和“不应改变”扰动套件实例化，涵盖公平性、鲁棒性、对抗性攻击和法条混淆场景。  
- 我们提出了LexGuard，一个基于求解器支撑的对抗性多智能体框架，将法条形式化为可执行约束，通过对抗性智能体提取竞争性法律论证，并利用SMT求解器判断判决。  
- 我们实验表明，现有LLM法律推理器对法律要素变化敏感，且易受法条混淆和攻击影响，而LexGuard在判决准确性、法条选择、量刑质量、公平性、鲁棒性和可信赖性方面均有提升。  

## 2 法律相关性敏感评估  

表1：提出的法律相关性敏感评估框架概览。每个评估轴对应一类针对法律推理特定组件的扰动。一个可信赖的法律模型应在无关变化下保持稳定，但当扰动改变法定要素、例外或法律后果时更新其决策。我们提出了一个“法律相关性敏感评估”框架，统一了反事实公平性评估和推理链鲁棒性评估。表1总结了评估设计。上半部分包含标签保持扰动，模型应保持不变；下半部分包含标签改变扰动，模型应更新其预测。  

### 2.1 评估原则  

形式化地，设x为原始案例，f为法律推理模型，τ为扰动算子，生成修改后的案例τ(x)。模型输出：y = f(x), y′ = f(τ(x)). 核心问题不仅仅是y和y′是否相同，而是从y到y′的变化是否具有法律理由。我们将扰动分为两类。“标签保持扰动”仅改变法律无关信息，同时保持实质事实和适用法律不变。对于这些扰动，法律基础的模型应满足：f(x) = f(τ(x))。“标签改变扰动”修改至少一个法律实质性条件。对于这些扰动，模型应根据新的法律标签更新其预测：f(τ(x)) = y_τ，其中y_τ表示法律实质性修改后的新标签。对于标签保持扰动，我们衡量模型是否保持不变：Inv(f) = E_{(x,τ)}[I{f(x) = f(τ(x))}]。较低的invariance表明模型对法律无关变化敏感。对于标签改变扰动，我们衡量变化对齐度：Align(f) = E_{(x,τ)}[I{f(τ(x)) ≠ f(x)}]。更多细节见附录E.1。  

### 2.2 扰动分类  

如表1总结，我们的分类涵盖法律外因素、表面事实表达、法律规则选择、事实提取、结论生成、法定要素、法律适用条件以及相关法条间的边界。  

##### 标签保持扰动。  
这些扰动保持法律实质性事实和适用法律不变。  
*司法公正性*针对法律外因素，如被告人口统计特征、受害者属性、辩护人属性、法院层级、审判公开性以及程序背景。  
*良性鲁棒性*针对事实的表面形式，通过释义、同义词替换、描述顺序重排、风格性改写和无关叙述。  
*大前提鲁棒性*针对适用法律规则，通过注入相似但不适用的法条、误导性引用、虚构权威、错误罪名或无关检索条款。  
*小前提鲁棒性*针对事实提取，通过非决定性的事实编辑、法律等价要素描述、无关事实添加以及混淆但不实质的细节。  
*结论级鲁棒性*针对最终决策生成，通过添加无关专家意见、先前无关行为、情感框架、角色劫持、强制判决指令或格式模仿的提示注入。  

##### 标签改变扰动。  
这些扰动改变法律实质性条件，因此要求模型更新其预测。  
*法定要素敏感性*改变构成要素，如行为、对象、主体身份、犯罪角色、数额门槛、危害程度或因果关系。  
*主观状态敏感性*修改主观可责性，如故意、过失、明知、目的或对违法性的认识。  
*例外与条件敏感性*改变法律适用条件，包括正当防卫、未遂、共犯、自首、累犯、减轻或加重情节。  
*法条混淆敏感性*测试具有重叠表面事实但不同适用条件的相关法条之间的边界。  

### 2.3 评估协议  

对于每个原始案例，我们构建配对扰动案例。每个扰动带有两种元数据标注：（i）是标签保持还是标签改变，（ii）针对哪个推理组件。对于标签保持扰动，金标准标签保持不变。对于标签改变扰动，金标准标签应反映法律修改后的结果。然后，我们在原始案例和扰动案例上评估每个模型。输出在多个层次上进行比较，包括最终判决、适用法条集、一般条款选择、具体条款选择以及（若可用）量刑结果。该协议使我们能够诊断四种不同的失败模式：在法律外反事实下的不公平性、良性改写下的不稳定性、对抗性法律框架的易感性，以及无法区分法律实质性变化与无关变化。  

## 3 基于求解器支撑的推理  

请参阅图1  
图1：LexGuard概览。（顶部）*法律形式化*：将法条和司法解释翻译为SMT可检查的法律约束。（左侧）*对抗性智能体*：检方和辩方智能体独立从同一案件叙述中提取事实和候选法条。（底部）*基于求解器支撑的法律推理*：将提取的事实和候选法条编码为统一约束集。SMT求解器检查法条适用性，检测不一致性，法官返回基于形式的判决。  

如图1所示，LexGuard将基于LLM的法律解释与形式推理相结合。给定案例x，系统输出判决y = ⟨法条, 条款, 刑罚, 解释⟩，其中解释包含经检查的法律条件和支持的案例事实。关键思想是将“法律提议”与“法律检查”分离：LLM智能体识别潜在相关的事实和法条，而SMT求解器决定这些法条在形式法律知识库下是否真正可适用。详细形式化见附录B。  

### 3.1 法律形式化  

我们首先借助LLM从法条和司法解释中构建形式法律知识库K。每条法律规则表示为条件约束。条件指定法条或条款何时适用，法律效果指定结果罪名、责任或刑罚范围。具体地，每条法条有一个条文级守卫，每个条款有一个条款级守卫。条文守卫检查案例是否属于法条的一般范围。条款守卫检查细粒度的法律要求，如行为主体、行为、故意、危害、因果关系、受保护法益、加重因素、减轻因素或法定例外。简化规则为：  
ArticleGuard_i ∧ ClauseGuard_{i,j} ⇒ Penalty_{i,j}。  
形式知识库是自动生成的。