迈向LLM的人权基准测试：一种试点方法论

# 面向LLM的人权基准测试：一种试点方法论
Source: https://arxiv.org/html/2608.10268

Wm. Matthew Kennedy  
Abhigyan Acherjee  
Matilda Wysocki  
Malcolm Langford  
Caitlin Kraft Buchman  

###### 摘要

大型语言模型（LLM）日益介入关于哪些人权得以实现以及如何实现的法律裁定。然而，目前尚无评估基准可用于检验它们能否正确地进行人权法推理。为此，我们报告了开发一套稳健且可扩展方法论的努力，以创建 HumRightsBench——首个经过专家验证、基于场景的基准，用于评估以国际人权法义务结构为基础的推理能力。我们改造了用于法律推理的 IRAC 框架，使其更适合人权工作独特的推理模式（将“P”——提出补救措施——替代“C”——法律结论，从而得到 IRAP），以此构建我们的评估启发式方法。我们还制作了一批试点真实场景，旨在涉及现实世界人权问题的多个维度，并由世界各地的人权律师和专业人士进行标注。最终，我们发现模型在不同法律推理任务上的准确率得分差异显著（模型整体表现 ∈ 0.339–0.577，任务最小–最大 ∈ 0.025–0.774），这强烈表明 HumRightsBench 能够有效地推动这一新兴的 AI 评估科学子领域在其关键演进时刻取得进展。

关键词：评估、法律推理、人权

## 1 引言

大型语言模型正被大规模部署于直接决定人权是否得到实现或遭受侵犯的决策中。招聘算法筛选候选人；自动化系统裁定福利；内容审核工具管辖政治言论；采购流程将 AI 嵌入公共服务交付中（Pesch, 2025 (https://arxiv.org/html/2608.10268#bib.bib8)）。当政府、国际组织、科技公司和公民社会组织等行动者做出这些部署决策时，可能涉及国际人权法下的国家义务，即确保其在其管辖范围内的行为或活动不导致权利侵犯。此外，许多个人和组织正在转向 LLM 寻求法律建议，或在其之上构建法律咨询平台（Schneiders et al., 2025 (https://arxiv.org/html/2608.10268#bib.bib9); Cole, 2024 (https://arxiv.org/html/2608.10268#bib.bib10)）。然而，目前尚无严格而有原则的基础来评估这些行动者所部署的 LLM 是否能够正确地进行人权法律推理。

为着手弥补这一空白，我们推出 HumRightsBench——首个经过专家验证的基准，用于评估 LLM 在人权的法律分析全过程中的推理能力。基于从 LegalBench 改造而来的 IRAP 框架（Guha et al., 2023 (https://arxiv.org/html/2608.10268#bib.bib21)），我们将人权推理分解为四个结构化的子任务——问题识别、规则召回、规则应用和提出补救措施——并开发了以国际人权文书、权威解释性指导和主要判例为基础的场景化提示。场景与评估问题由人权律师和实践者验证（场景真实性均值 ∈ (0.70–1.00)，问题整体准确性均值 ∈ (0.633–0.913)）。对三个领先前沿 LLM——GPT-5、Claude Opus 4.7、Gemini 3——的试点结果令人震惊。前沿模型在结构化推理任务上的整体准确率集中于约 50%–57%，在重复运行中表现出较高的随机方差，并且在闭合式任务中，在检测义务违反方面表现最差——而这是人权法中的一项基础实践。这些结果既证实了该基准的科学效用（模型以可检测且有意义的方式存在差异），也证实了问题的紧迫性（当前模型不足以胜任人权推理任务）。

本文有五个贡献：（i）首个以国际人权法为基础的基准，试点覆盖水权；（ii）一种基于 IRAP、适应人权法律推理结构的方法论；（iii）一个经过专家验证的场景语料库，并记录了标注者间一致性；（iv）跨领先 LLM 的基线结果。第2节提供人权法背景以及领域特定评估的必要性。第3节描述基准设计和方法论。第4节展示结果。第5节讨论意义和未来工作。

## 2 背景

### 2.1 什么是人权？

现代人权制度是人类所产生的最完善且获得最普遍认同的法律体系之一。它诞生于第二次世界大战的灾难与恐怖之中，作为一种替代性基础来构建一个以个体人的尊严而非主权国家权利为中心的世界。人权事业标志着一种决定性的转向，即把法律作为塑造世界应有面貌的工具，而非维持世界既有格局的工具（Koskenniemi, 2001 (https://arxiv.org/html/2608.10268#bib.bib38); Rovira, 2013 (https://arxiv.org/html/2608.10268#bib.bib40)）。这一转向由来已久。人权制度建设汲取了一个多世纪以来国际主义思想（Sluga, 2013 (https://arxiv.org/html/2608.10268#bib.bib39)）；这些思想即使在保护免受主权权力滥用之害的努力中，也拒绝国家中心主义（Pedersen, 2015 (https://arxiv.org/html/2608.10268#bib.bib22)）。尽管如此，尽管通过了《世界人权宣言》（联合国大会, 1948 (https://arxiv.org/html/2608.10268#bib.bib36)）以及一大批国际人权条约，人权制度仍历经数十年才在植根于强国家主权观念的旧有国际秩序中占据主导地位（Moyn, 2010 (https://arxiv.org/html/2608.10268#bib.bib35)）。

虽然如今人权制度已在全球秩序中根深蒂固，但它仍面临持续挑战：不守约国家、持续存在的物质不平等以及反全球化情绪（Langford, 2009 (https://arxiv.org/html/2608.10268#bib.bib34); Alston, 2017 (https://arxiv.org/html/2608.10268#bib.bib23)）。其巩固过程仍不完整且充满争议。

人权是国际公认的权利，是所有人仅凭其人性而固有的，不论国籍、身份或境况。它们主要载于具有约束力的国际条约，如《公民权利和政治权利国际公约》（ICCPR）（联合国大会, 1966a (https://arxiv.org/html/2608.10268#bib.bib33)）、《经济、社会及文化权利国际公约》（ICESCR）（联合国大会, 1966b (https://arxiv.org/html/2608.10268#bib.bib24)）以及相关核心文书，包括《消除对妇女一切形式歧视公约》（CEDAW）（联合国大会, 1979 (https://arxiv.org/html/2608.10268#bib.bib25)）、《残疾人权利公约》（CRPD）（联合国大会, 2006 (https://arxiv.org/html/2608.10268#bib.bib26)）、《儿童权利公约》（CRC）（United Nations, 1989 (https://arxiv.org/html/2608.10268#bib.bib27)）和《消除一切形式种族歧视国际公约》（CERD）（联合国大会, 1965 (https://arxiv.org/html/2608.10268#bib.bib28)）等。此外，这些条约通过联合国条约机构发布的权威软法文书（如一般性意见或一般性建议）得到解释。一般性意见是联合国条约监督委员会发布的解释性指导文件，它们阐明条约义务的范围，但本身不具正式约束力。例如，CESCR 第15号一般性意见对《经济、社会及文化权利国际公约》第11条进行了阐释，除其他外，澄清了该公约在使用“包括”一词引出充分生活水准权利之后的各项权利时，“并非意在穷尽列举”（UN Committee on Economic, Social and Cultural Rights (CESCR), 2002 (https://arxiv.org/html/2608.10268#bib.bib29), E/C.12/2002/11 p1）。此外，由人权理事会任命的负有特别程序任务授权的联合国专家个人会撰写专题性或国家性专家报告。在某些情况下，这些专家的任务被授权阐明法律规范（例如，HRC Res. 7/22, 2008），而在另一些情况下，他们的工作实际上也发挥了这一作用。普遍定期审议（UPR）建议是通过理事会国家间审议进程产生的同行评审结果。尽管不具有正式约束力，这些文书对法律判断很重要，并经常在诉讼、政策和企业尽职调查程序中被引用。附录表7 (https://arxiv.org/html/2608.10268#Ax1.T7) 重述了这些共同构成现代人权制度的不同来源和权威。

这些文书对明确界定的义务承担者施加义务。从历史上看，这首先指国家。然而，一些条约对个人施加义务（例如《国际刑事法院罗马规约》），而一些软法框架则将适用范围扩展至企业（例如，《联合国工商业与人权指导原则》（联合国人权事务高级专员办事处, 2011 (https://arxiv.org/html/2608.10268#bib.bib31)）扩展了该框架，要求企业——包括科技公司和软件开发者——在其运营和整个价值链中尊重人权（Ruggie, 2013 (https://arxiv.org/html/2608.10268#bib.bib30); UN Human Rights Office of the High Commissioner (OHCHR), 2019 (https://arxiv.org/html/2608.10268#bib.bib32)））。在这一不断扩展的架构下，负有实现权利责任的行动者范围正变得更加广泛：包括政府、国际组织、采购机构、公民社会，以及对本工作至关重要的开发与部署 AI 系统的私营部门行动者。尽管如此，在国际人权法中，主要还是国家承担正式法律义务，尽管这包括确保其控制或影响范围内的私人行动者同样尊重人权的义务。

### 2.2 人权工作：规定还是实践？

与任何其他法律领域一样，人权法同时具有规定性和操作性。在规定层面，它产生具有约束力的义务和解释性指导。在操作层面，人权实践涵盖诉讼律师、条约机构专家、国家人权机构、公民社会监督者以及企业尽职调查从业者的工作，他们将这些规范转化为对具体情况的法律判断。这种双重属性具有方法论上的重要意义：一个只捕捉教义召回——例如知道 ICESCR 保障水权——的基准，将遗漏构成该领域的推理工作。胜任的人权推理要求识别所涉及的具体义务，将相关标准适用于事实场景，并提出与制度背景相匹配的补救措施。

### 2.3 法律基准测试：领域现状

我们认为，由于人权制度既依赖于其条款的核心文本，也依赖于其从业者不断努力逐步实现这些条款，AI 系统快速扩散到影响人权的基于 AI 的决策系统中，对人权事业整体产生了重大影响。LLM 驱动的法律咨询应用和产品的大量涌现也是如此。这些影响必须被评估。HumRightsBench 旨在衡量的正是这种完整的法律与实践推理过程，而不仅仅是命题召回。借此，它为法律、社会影响和“前驱”能力等新兴 AI 评估子领域作出贡献。这些领域发展迅速，尽管覆盖范围、有效性和稳健性并不均衡。与此同时，也出现了有前景的方法。我们在此简要回顾；完整叙述性综述见附录 A。

面向法律的 AI 评估发展迅速。LegalBench 汇集了 162 个由专家构建的任务，涵盖问题识别、规则召回和规则应用（Guha et al., 2023 (https://arxiv.org/html/2608.10268#bib.bib21)），后续基准将其扩展到法律考试论证（Fan et al., 2025 (https://arxiv.org/html/2608.10268#bib.bib49)）以及对真实司法判决的结构化、IRAC 分解推理（Yu and others, 2025 (https://arxiv.org/html/2608.10268#bib.bib93); Dai et al., 2025 (https://arxiv.org/html/2608.10268#bib.bib47); Fei et al., 2023 (https://arxiv.org/html/2608.10268#bib.bib50); Li et al., 2024 (https://arxiv.org/html/2608.10268#bib.bib82)）。另一个平行方向衡量法律知识和语言理解（Chalkidis et al., 2022 (https://arxiv.org/html/2608.10268#bib.bib44); Zheng et al., 2021 (https://arxiv.org/html/2608.10268#bib.bib94); Chalkidis et al., 2023 (https://arxiv.org/html/2608.10268#bib.bib45); Henderson et al., 2022 (https://arxiv.org/html/2608.10268#bib.bib52)），而领域特定资源则针对合同、法规和判例法（Hendrycks et al., 2021b (https://arxiv.org/html/2608.10268#bib.bib78); Wang and others, 2025 (https://arxiv.org/html/2608.10268#bib.bib90); Holzenberger et al., 2020 (https://arxiv.org/html/2608.10268#bib.bib79); Xiao et al., 2018 (https://arxiv.org/html/2608.10268#bib.bib91); Zhong et al., 2020 (https://arxiv.org/html/2608.10268#bib.bib95)）。多语言语料库和评估套件已经开始纠正该领域以英语为中心的起源（Niklaus et al., 2024 (https://arxiv.org/html/2608.10268#bib.bib86), 2023 (https://arxiv.org/html/2608.10268#bib.bib85); Rasiah et al., 2023 (https://arxiv.org/html/2608.10268#bib.bib87)）。一个一致的发现是，模型处理法律知识远比处理法律推理可靠，准确率在多步推理上急剧下降，而推理模型有时尽管“思考更久”，表现却更差（Fan et al., 2025 (https://arxiv.org/html/2608.10268#bib.bib49); Yu and others, 2025 (https://arxiv.org/html/2608.10268#bib.bib93); Zhang et al., 2025 (https://arxiv.org/html/2608.10268#bib.bib75)）。

人权和国际法的覆盖范围仍相对薄弱（Lie and Langford, 2024 (https://arxiv.org/html/2608.10268#bib.bib12)）。早期工作从案件事实预测欧洲人权法院条款违反（Aletras et al., 2016 (https://arxiv.org/html/2608.10268#bib.bib41); Chalkidis et al., 2019 (https://arxiv.org/html/2608.10268#bib.bib43)）；较新的基准对欧洲人权法院判决中的脆弱性进行分类（Xu et al., 2023 (https://arxiv.org/html/2608.10268#bib.bib92)），并探究模型如何在《世界人权宣言》的各项权利之间权衡取舍（Samway et al., 2026 (https://arxiv.org/html/2608.10268#bib.bib72)），另有提案针对难以触达的人群（Haupt et al., 2026 (https://arxiv.org/html/2608.10268#bib.bib73)）以及《日内瓦公约》的保护（Kennedy & Heath 2026）。一个较大的相邻文献涉及规范性、道德和伦理推理（Hendrycks et al., 2021a (https://arxiv.org/html/2608.10268#bib.bib77); Lourie et al., 2021 (https://arxiv.org/html/2608.10268#bib.bib84); Emelin et al., 2021 (https://arxiv.org/html/2608.10268#bib.bib48); Ziems et al., 2022 (https://arxiv.org/html/2608.10268#bib.bib96); Subramanian et al., 2026 (https://arxiv.org/html/2608.10268#bib.bib88); Jiao et al., 2025 (https://arxiv.org/html/2608.10268#bib.bib81)），它测试涉及价值判断的推理，但其基础是聚合偏好而非法律义务。最后一个方向探讨结构化法律...