法官的行为是否像算法？

# 法官的行为是否像算法？ 来源：https://arxiv.org/html/2608.10400 Riya Manchanda\equalcontrib1, Eric Chen\equalcontrib1, Chloe Zhu1, Cynthia Rudin1, Brandon Garrett1, Songman Kang2 ###### 摘要 如果法官的行为已经像算法一样，那会怎样？随着人工智能和算法被部署到包括司法系统在内的许多场景中，许多人一直在争论是否应当允许法官依赖这些工具。我们认为，这场关于算法在司法系统中角色的争论，其实对应着一场更古老的争论，即法官依赖规则（rules）与依赖标准（standards）之间的比较优势。规则清晰、一致、可预测，但可能无法捕捉到更灵活的标准所依赖的个别且公平的具体情况。我们并不主张规则或标准在何时或是否更优。相反，我们想问的是：法官是否已经在遵循可预测的、类似算法的规则？如果法官已经在基于刑事前科、年龄、指控类型等离散且静态的因素，遵循一致的、类似公式的规则，那么司法行为或许可以得到改善。然而，如果法官依赖的是无法从法庭数据中识别的个性化信息，那么基于标准的决策可能更难理解或改进。本研究通过考察德克萨斯州哈里斯县轻罪保释听证中的司法决策来探讨这些问题。利用现有的法庭数据，我们调查了治安法官是否遵循某种类似算法的模式；他们在决策中是否考虑相同的变量；以及他们与自己以及彼此之间是否一致。为此，我们为每位法官训练机器学习模型，测量变量重要性指标以确定每位法官决策中的重要变量，并分析法官对相似案件的结果。我们的结果显示，这些法官总体上确实以算法化的方式行事：他们的决策可以被小型、可解释的公式所捕捉。然而，在某些情况下，法官之间存在显著差异，导致对相似被告出现令人惊讶的不一致和不平等对待。识别算法无法解释司法决策的案件，可以通过将注意力集中在那些个性化标准（而非规则）更能解释结果的决定上，从而改进司法系统。 ## 引言 由一位公正的法官裁决争议，是世界各地正当程序或公平审判权的核心要素（Garrett January 11, 2025 (https://arxiv.org/html/2608.10400#bib.bib64); Deeks August 1, 2019 (https://arxiv.org/html/2608.10400#bib.bib65); Crootof et al. 2023 (https://arxiv.org/html/2608.10400#bib.bib66)）。正当程序的一个重要维度是，司法官员以有理有据且一致的方式作出这些决定。然而，长期以来一直存在一种张力：一方面是基于规则作出决定，这可以带来一致且可预测的结果；另一方面是使用更具裁量性的标准，这可以基于个案的具体情况提供更公平的结果（Schlag 1985 (https://arxiv.org/html/2608.10400#bib.bib4)）。关于规则与标准在何时以及是否更可取，存在重要问题，而在法律决策中选择使用哪种方式也涉及权衡取舍（Kaplow 1992 (https://arxiv.org/html/2608.10400#bib.bib5)）。有关规则与标准的更多信息，请参阅附录A (https://arxiv.org/html/2608.10400#A1.SSx1)。 近年来，关于在司法系统中使用算法和AI的争论，很大程度上呼应了规则与标准比较优劣这一长期争论中的许多关切。一方认为，许多算法过于简化，无法考虑到人类法官必须考虑的个案具体因素（Harcourt 2015 (https://arxiv.org/html/2608.10400#bib.bib8)）。这一关切在涉及公平以及法官裁量性道德判断的领域尤为紧迫（Re and Solow-Niederman 2019 (https://arxiv.org/html/2608.10400#bib.bib9)）。另一些人则指出，人类法官在决策中也容易出现某些类型的不一致和偏见（Rachlinkski and Wistrich 2017 (https://arxiv.org/html/2608.10400#bib.bib10); Eaglin 2023 (https://arxiv.org/html/2608.10400#bib.bib11)）。数据和司法任务的类型也可能影响选择算法还是裁量性审判更可取。如果预测是直接且基于规则的，那么使用AI或算法更有利；而如果遗漏变量使得准确预测更加困难，那么引入人类判断元素会更有利（Fagan and Levmore 2019 (https://arxiv.org/html/2608.10400#bib.bib12)）。 与这场争论高度相关的问题是：法官是否**已经**像算法一样行事、遵循规则，抑或他们倾向于基于更具体的个案标准来裁决案件。让我们更仔细地定义这个问题。我们所说的“算法”，指的是一个简单的公式，也许由几条可理解的规则组成。这个简单公式只涉及少量加法、减法和乘法。我们称这样的公式为“可解释的”或“可理解的”，因为它们所依赖的实际因素和权重是明确给出的（Garrett and Rudin February 16, 2023 (https://arxiv.org/html/2608.10400#bib.bib67)）。我们指的不是“黑箱”，即复杂或专有的数学公式，因为我们认为那些应避免用于刑事司法决策，因为它们引发了严重的宪法关切，并且尚未被证明优于可解释模型（Garrett and Rudin February 16, 2023 (https://arxiv.org/html/2608.10400#bib.bib67), September 06, 2024 (https://arxiv.org/html/2608.10400#bib.bib68)）。 我们在这里提出的问题是：法官在何时以及是否表现得像简单公式一样？法官的判断是否像简单公式（或规则）那样具有一致性？如果是，我们能否识别这些公式或规则？如果相反，他们采用的是标准，我们能否识别这些标准，以揭示他们如何作出决定？这些问题对于围绕司法系统是否应使用算法的争论至关重要。如果法官已经在基于可量化线索（如前科、年龄和指控类型）遵循一致的、类似公式的规则，那么司法行为可以通过可解释模型被理解甚至改进，而不是被其取代。反之，如果他们的决策偏离任何可学习的规则很远，那么挑战就在于识别这些更灵活的标准，评估决策的一致性，进而确保这些标准的使用能够得到理解甚至改进。 我们通过聚焦美国第三大城区县——德克萨斯州哈里斯县（包括休斯顿市）的数据来考察这一问题。我们的数据来自2019年O'Donnell同意法令生效之后的时期，这是哈里斯县一项具有里程碑意义的改革，旨在消除保释决定中基于财富的差异，并赋予治安法官更大的裁量权，尤其是在数量较少但较为严重的轻罪案件中。在这项工作中，我们考察的是受雇于该县、向民选法官汇报、并对相对更严重的轻罪案件作出初始决定的治安法官的决策。具体而言，我们关注的是治安法官在保释听证后（听证中他们会听取地区检察官和公设辩护人的意见）决定是否建议给予个人保释（personal bond）并释放，可能附带监管条件；或者是否应要求其缴纳现金保释金（secured bond with a cash bail amount），必须支付该金额才能获释，如果能够支付或获得该金额的保释，则可能同样附带监管条件。鉴于该司法辖区的规模，每年有数万次此类保释听证和治安法官决定。我们的独特数据集包含由21名治安法官裁决的超过22,000个案件。 需要澄清的是，这项工作并不主张用算法取代法官。一个关键的关切是**救济途径（recourse）**：人类始终是必需的，包括当算法出错时、当案件涉及个人或特殊情况时，或者在基于规则的决策本可适用但关于个人的数据有误而需要调整算法输入的情况下（Garrett and Rudin February 16, 2023 (https://arxiv.org/html/2608.10400#bib.bib67)）。关于后一种情况，虽然数据错误的案件应当很少见，但在实践中并非如此，部分原因是行政刑事司法数据中普遍存在错误（Pepper et al. 2010 (https://arxiv.org/html/2608.10400#bib.bib69)）。第一种类型的案件——即应使用公平裁量或标准的案件——引发了一个规范性问之问：使用基于公平、标准的做法是否可取。在不处理这一规范性问题的前提下，我们只问：法官总体上是否表现得像算法一样，包括他们彼此之间是否一致；他们是否主要是在拦截异常案件时才被需要；以及他们是否已经在进行某种类型的个性化决策。考察司法推理潜在的算法化性质——以及法官认为不适合基于规则方法处理的案件类型——为改进决策和加强问责开辟了道路。 实验与结果概述：为了研究我们的第一个问题——“法官在何时不遵循任何合理的算法，是否存在导致这些不一致的情形？”——我们生成了所有可能的良好模型的“Rashomon集”，这些模型属于一种灵活的非参数函数类，即稀疏决策树。这些模型中的每一个都代表一种尽可能准确地匹配法官决策的简单决策函数。对于每位治安法官，我们识别出在Rashomon集中每个函数都被错误分类的案件；这些“无法解释的案件”是指没有任何良好模型能正确预测法官裁定的司法决策。无法解释的案件占每位法官案件的2%至33%。对听证记录和可能原因表格样本的手动分析显示，这些无法解释案件的样本中有100%源于以下三种情况之一：（1）数据录入或表格错误；（2）涉及哈里斯县以外指控的信息，而这些信息未包含在数据集中；或（3）法官引用但结构化数据中不存在的具体案件定性细节。这些发现表明，即使司法推理在很大程度上是算法化的，现实世界中的不一致也往往源于信息和记录保存方面的缺口，而非故意武断。这些结果表明，记录保存方面存在系统性的缺口，而这些缺口是可以改善的。 我们的第二个问题是：“每位法官能否用一个简单算法来描述？”我们尝试用一棵简单的决策树为每位法官建模，并报告每位治安法官的保释决定在多大程度上可以用此类规则来表示（忽略那些由噪声生成过程而非有意过程产生的无法解释案件）。我们发现，在数千个案件中，大多数法官可以用小型决策树（深度≤\leq5）来近似，使用的特征包括先前的撤销、未决案件和被告年龄，准确率在75%和100%之间，其中21位法官中有16位，其每位法官至少85%的可解释决策可以由算法确定。这表明，司法行为中有相当一部分合理地遵循了系统性的模式，可以用少数几个简单条件来概括，尽管有些法官的行为比其他法官更具算法化。 进一步地，我们进行了变量重要性分析，以回答：“法官在决策中是否考虑相同的变量？”大多数变量重要性分析都有缺陷，因为它们只考虑单一模型的变量重要性，而忽略了Rashomon集——即对数据而言的良好模型集合——其中往往包含许多使用完全不同变量但同样准确的模型。相反，我们的分析是在良好模型上对变量重要性进行平均，以识别通常重要的变量。我们发现，跨法官存在三个普遍重要的变量——年龄、warrantct（先前逮捕令数量）以及特定类型犯罪的预定义标记——但变量的重要程度以及额外重要变量的选择在法官之间存在显著差异。因此，即使每位法官都以算法化方式行事，他们表现的也是完全不同的算法。 最后，我们进一步深入探讨法官之间的差异，提出这样的问题：“法官彼此之间是否一致？他们在何时存在分歧？”为此，我们测试了一个为预测某位法官决策而训练的模型，能否准确预测另一位法官的决策。我们发现不能：法官们展现出明显不同的决策过程。具体来说，当我们用每个法官的特定模型去评估其他法官裁决的案件时，性能显著下降，揭示了法官配对之间存在显著异质性。然后，我们识别出结构化的“分歧规则”，用以描述特定法官在何时出现分歧。例如，法官9和法官4在涉及24岁或以下个体的案件中，有94%的案件存在分歧，这表明他们对年轻个体存在系统性不同的对待方式。这表明，司法系统的结果在很大程度上取决于法官是谁。一个三重一致性实验（我们为不同法官匹配相似案件）证实了这些发现：法官们的自我一致性很高，对相似案件在76%的情况下得出相似结果；但彼此之间的一致性仅中等，对相似案件只有约∼\sim55%的情况下得出一致裁定（接近随机猜测），这表明司法系统的结果在很大程度上取决于法官是谁。 因此，我们的结果揭示了一个悖论。一方面，法官确实在很多情况下表现得像算法一样；他们的决策可以被依赖于可测量变量的小型、可解释公式所捕捉。另一方面，算法化的行为因法官而异，导致对被告的不一致和不平等对待。识别和比较这些隐含规则集，可以推动数据驱动的司法培训、标准化指导方针，以及促进可解释性和全系统公平性的机制。通过理解法官在何时以及为何偏离可解释规则，我们可以更好地识别数据中的错误、推理中的偏见以及改革的机会。理想情况下，如果拥有更多关于结果的额外数据，我们可以让法官专注于能产生理想结果的规则（Loeffler and Grunwald 2015 (https://arxiv.org/html/2608.10400#bib.bib71)），同时这也是一种成本相对较低的干预方式（Ludwig et al. 2024 (https://arxiv.org/html/2608.10400#bib.bib72)）。最终，我们认为核心问题不是算法是否应进入司法系统，而是系统中的司法者是否已经在像算法一样行事，以及我们能否让两者都变得更好。 ## 相关工作 日益增长的实证文献将司法决策视为一种在不确定性下的人类判断形式，尤其是在审前保释听证等量大且时间受限的场景中。这些工作一致记录到，即使在面对相似案件时，法官之间也存在显著差异，这引发了对法律结果一致性、公平性和任意性的担忧。在保释语境下，几项研究 co