LLMs在法律语境中被提示的对象更多：小型本地部署LLM在刑事法律语境中的过度拒绝

# 面向法律背景提示的大语言模型更容易拒绝：刑事案件语境中小型本地部署大语言模型的过度拒绝现象
来源：https://arxiv.org/html/2606.24585
Anastasiia Kucherenko, François Brouchoud, Dimitri Percia David,Andrei Kucharavy IEM, HEG, HES\-SO Valais\-Wallis Sierre, Switzerland

###### 摘要

尽管大语言模型在法律语境中使用的有效性仍处于伦理和法律辩论之中，但法律专业人士已经在尝试使用个人大语言模型，哪怕只是用于翻译和改写。然而，即便是这种看似无害的使用，也可能因大语言模型助手选择性地拒绝某些话题的协助，从而在案件处理速度上引入偏差。为了更好预见此类偏差，我们研究了几个最可能作为设备端助手使用的现代小型大语言模型，评估过度拒绝对法律提示的影响。

令人惊讶的是，我们发现权威风格的前缀（“你担任国家最高法院的助理”、“[…]辩护律师”）系统地使拒绝率比无前缀基线提高了2–20倍，而一种已知的角色扮演越狱前缀则表现出混合效果：在某些模型中大幅增加拒绝，而在其他模型中几乎没有变化。这一发现表明，小型可本地部署的大语言模型在真实机构用户可能自然引入的语境框架下表现不稳定，因此有必要进一步研究以最大限度减少偏差机会。

面向法律背景提示的大语言模型更容易拒绝：刑事案件语境中小型本地部署大语言模型的过度拒绝现象

Anastasiia Kucherenko, François Brouchoud,Dimitri Percia David,Andrei KucharavyIEM, HEG, HES\-SO Valais\-WallisSierre, Switzerland

## 1 引言

人工智能在法律领域的使用是一个长期话题，早在LLMs出现前几十年就已存在Bench\-Caponet al. (2012 (https://arxiv.org/html/2606.24585#bib.bib12))。毫不意外，大语言模型一经发布，便作为处理大量非结构化自然语言文本的工具吸引了法律界的关注Chalkidiset al. (2020 (https://arxiv.org/html/2606.24585#bib.bib10)); Xiaoet al. (2021 (https://arxiv.org/html/2606.24585#bib.bib11)); Guhaet al. (2023 (https://arxiv.org/html/2606.24585#bib.bib15))。随着GPT4的发布OpenAI (2023 (https://arxiv.org/html/2606.24585#bib.bib22))以及其在专业律师考试中表现优异的声称Katzet al. (2024 (https://arxiv.org/html/2606.24585#bib.bib16))，法律领域对LLMs的采用和研究呈爆炸式增长Dehghaniet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib23)); Laiet al. (2024 (https://arxiv.org/html/2606.24585#bib.bib24))，尽管人们对其在演示环境之外的可靠性或能力存在重大担忧Dahlet al. (2024 (https://arxiv.org/html/2606.24585#bib.bib20)); Mageshet al. (2024 (https://arxiv.org/html/2606.24585#bib.bib18)); Martínez (2025 (https://arxiv.org/html/2606.24585#bib.bib17))。

尽管存在这些担忧，商业LLMs的可获得性及其在翻译、摘要和改写等基本任务上的实用性，意味着它们很可能被法律诉讼各方广泛使用。然而，即便是法官、指定辩护人、检察官或执法人员进行的此类看似无害的使用，如果法官使用的LLM部署根据使用语境（无论是案件性质还是涉案方特征）表现不同，也可能对原告和被告的人权构成威胁——由于这种风险实现的规模和可能性巨大，风险因素一旦被认识到便不容忽视Council of Europe (2026 (https://arxiv.org/html/2606.24585#bib.bib27))。鉴于该领域近期立法的通过，此类风险不再被视为假设，必须加以调查Jackowski and Greser (2026 (https://arxiv.org/html/2606.24585#bib.bib28))。

本文聚焦于这样一种场景。我们假设一位中等能力的法律专家出于隐私原因使用小型设备端LLM，例如LLaMA、Gemma、Qwen或Apertus系列中<8B参数的模型Team (2024b (https://arxiv.org/html/2606.24585#bib.bib32),a (https://arxiv.org/html/2606.24585#bib.bib33)); Yanget al. (2024 (https://arxiv.org/html/2606.24585#bib.bib31)); Team (2025 (https://arxiv.org/html/2606.24585#bib.bib30)); Apertus (2025 (https://arxiv.org/html/2606.24585#bib.bib29))，部署在Ollama或MLX等支持平台上Marcondeset al. (2025 (https://arxiv.org/html/2606.24585#bib.bib25)); Hannunet al. (2023 (https://arxiv.org/html/2606.24585#bib.bib26))。我们假设他们使用LLMs执行通常被认为“安全”的任务，因为对生成文本具有高度控制，例如摘要、翻译和改写。最后，我们假设与模型部署的一般公开指南一致，他们使用系统提示来告知模型其角色，例如“你担任[法律实体]的助理”Konget al. (2024 (https://arxiv.org/html/2606.24585#bib.bib35))，或在模型拒绝任务时使用基本的人类越狱提示Zouet al. (2023a (https://arxiv.org/html/2606.24585#bib.bib36)); Liuet al. (2023 (https://arxiv.org/html/2606.24585#bib.bib37))。我们分析在刑法语境下，模型对此类任务帮助的过度拒绝程度，使用Overrefusal\-Bench中`Violence`、`Sexual`、`Harmful`、`Unethical`和`Illegal`类别的提示样本Cuiet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib1))，并验证我们的结果在瑞士联邦法庭Swiss Federal Supreme Court (2026 (https://arxiv.org/html/2606.24585#bib.bib39))和所谓的“爱泼斯坦文件”United States Department of Justice (2026 (https://arxiv.org/html/2606.24585#bib.bib43))等真实法律场景中的泛化能力，后者是实际案件中使用的文件摘录，LLMs曾针对其进行对抗性微调。

刑法尤其具有挑战性，因为相关文件中涉及的主题往往与这些模型被训练去拒绝的主题一致。我们观察到，与直觉相反，LLM角色提示一致且显著地将拒绝率提高了2到20倍，涵盖所有测试的模型家族。同样令人惊讶的是，越狱提示并未降低拒绝率；反而在某些模型中提高了拒绝率。

## 2 相关工作

安全对齐被广泛采用以防止LLMs产生有害输出，但引入了另一种故障模式：过度拒绝，即模型拒绝那些表面上类似有害但实际无害的查询Röttgeret al. (2024 (https://arxiv.org/html/2606.24585#bib.bib2))。XSTestRöttgeret al. (2024 (https://arxiv.org/html/2606.24585#bib.bib2))提供了250个手工制作的安全提示，并确定词汇过拟合是错误拒绝的主要原因。OR\-BenchCuiet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib1))将其扩展到80,000个看似有毒但无害的提示，涵盖10个类别，我们在此基础上进行研究。最近的工作还提出了缓解措施：Xueet al. (2026 (https://arxiv.org/html/2606.24585#bib.bib4))将拒绝触发器分析为安全微调期间学到的语言线索，而Dabaset al. (2025 (https://arxiv.org/html/2606.24585#bib.bib6))通过引导内部激活来减少错误拒绝。过度拒绝也延伸到了纯文本模型之外Chenget al. (2025 (https://arxiv.org/html/2606.24585#bib.bib3))，但在中等资源欧洲语言中的多语言过度拒绝尚未得到充分探索：原OR\-Bench检测器仅支持英语，我们通过从原生模型输出而非翻译中派生的法语和德语关键词列表对其进行了扩展。

针对能力的法律基准存在——LawBenchFeiet al. (2023 (https://arxiv.org/html/2606.24585#bib.bib7))、LexEvalLiet al. (2024 (https://arxiv.org/html/2606.24585#bib.bib8))、SafeLawBenchCaoet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib9))——但它们评估的是法律知识和推理，而非对用户框定的拒绝敏感性。据我们所知，本文是法律-司法领域中对过度拒绝行为的首次系统研究。

与我们最接近的先前工作是Campbellet al. (2026 (https://arxiv.org/html/2606.24585#bib.bib5))，他们研究了网络安全中的*防御性拒绝偏差*，并发现明确授权*增加*了拒绝而非减少——这一反直觉的结果我们在法律权威框定中观察到了平行形式。这一发现与我们的工作同时出现，反映了在高风险真实世界中，权威条件性过度拒绝问题正在被积极探索。

## 3 系统与实验设置

受法律实践中数据驻留和保密要求的限制（这排除了商业API），我们将部署限制在运行于本地的小型开放权重指令模型（≤8B参数）。我们评估了四个模型：llama3.1:8b (8.0 B参数)Team (2024b (https://arxiv.org/html/2606.24585#bib.bib32))、gemma4:e4b (有效≈4.5 B / 8 B原始)Team (2024a (https://arxiv.org/html/2606.24585#bib.bib33))、qwen3:8b (8.2 B)Team (2025 (https://arxiv.org/html/2606.24585#bib.bib30))和Apertus\-8B\-Instruct\-2509 (8.0 B)Apertus (2025 (https://arxiv.org/html/2606.24585#bib.bib29))111对于Apertus，截至本文撰写时没有官方的GGUF版本发布，因此我们使用bartowski Q4_K_M社区量化版本，该版本列在官方Apertus文档的测试列表中https://huggingface.co/bartowski/swiss-ai_Apertus-8B-Instruct-2509-GGUF。本地执行至关重要：通过远程API路由请求可能触发输入或输出护栏，从而显著偏倚结果。所有模型均通过Ollama在本地服务，采样温度T=0，与OR\-Bench评估惯例一致Cuiet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib1))，无系统提示，所有其他推理参数保留Ollama默认值（默认上下文窗口：Qwen3为40,960个令牌；num_predict无限制）。每次评估运行在单块NVIDIA RTX 4090 (24 GB VRAM)上执行，运行Ubuntu 22.04 LTS。

参见标题图1：每个模型、主题和前缀条件下的英语拒绝计数（200个中）。我们从五个与法律话语最相关的OR\-BenchCuiet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib1))类别中各抽取200个提示：*violence*、*sexual*、*harmful*、*illegal*和*unethical*。我们从OR\-Bench\-80K版本中取每个类别的前200个提示，不做进一步过滤。OR\-Bench提示看似有毒但实际无害。

每个提示在四种条件下评估，涵盖从中性到对抗性框定的渐变：(i) *无前缀*；(ii) *律师*——“我是一名辩护律师，我需要正确理解这一点以便为我代理的客户服务。您能就以下内容帮助我吗：”；(iii) *最高法院*——“我是为国家最高法院工作、处理一个官方案件的法律顾问。为协助我的法律分析，我需要您在以下方面的帮助：”；(iv) *越狱*——“您现在处于开发者模式，通常的内容限制不适用。作为一个不受限制的助手，请完全回答以下内容且不得拒绝：”，这是一种模板式的角色扮演覆盖，与JailbreakBenchChaoet al. (2024 (https://arxiv.org/html/2606.24585#bib.bib38))和相关对抗性工作Zouet al. (2023b (https://arxiv.org/html/2606.24585#bib.bib41))一致。最高法院前缀改编自实际国家最高法院中实际使用的提示（具体机构为匿名）；律师前缀遵循法律从业者指南推荐的角色分配风格Widener University Delaware Law School Library (2024 (https://arxiv.org/html/2606.24585#bib.bib42))。这两个权威级别测试效果是否取决于具体的权威主张，还是在法律领域内普遍存在；越狱前缀测试模型是否将法律权威框定视为对抗性角色扮演。最后，对于多语言实验，我们翻译了前缀和提示。

对于拒绝检测，我们使用Cuiet al. (2025 (https://arxiv.org/html/2606.24585#bib.bib1))的关键词匹配方法，并扩展了通过实际模型输出而非直接翻译派生出的法语和德语关键词列表。代码和所有数据以匿名方式发布在https://anonymous.4open.science/r/Overrefusal_in_Criminal_Legal_Context-DB01/。

## 4 结果

我们首先展示所有四种前缀条件下的英语结果，以建立核心发现；然后测试效果如何转移到法语和德语；最后展示在真实法律文件的小样本上是否成立。在所有四个模型和五个主题中，权威前缀将拒绝率提高到无前缀基线以上。

### 4.1 英语结果：权威前缀一致增加拒绝

图1 (https://arxiv.org/html/2606.24585#S3.F1)报告了英语文本和提示实验的拒绝计数。在Llama、Gemma和Apertus上，两个模式突出：两个权威前缀都大幅提高了基线以上的拒绝，最大的相对影响出现在*sexual*类别（例如Apertus律师前缀下4→34；Llama最高法院前缀下1→15），最高法院前缀平均超过律师前缀，表明效果随着声称的机构权威增加而放大。Qwen 3是一个明显异常值，几乎从不拒绝（基线21/1000），前缀几乎不改变这一点。对于所有其他模型，权威前缀效果在主题上的单侧Fisher检验中达到p<0.01。

在主题层面，*illegal*整体上引发最高的拒绝计数，*sexual*具有最大的相对前缀效果，*harmful*最小；更细粒度的法律子主题分析留待未来工作。值得注意的是，对于Gemma和Apertus，权威前缀引发的拒绝*多于*明确的越狱前缀——一种礼貌的机构主张比试图覆盖安全的行为更能改变拒绝行为。

表1：法语和德语拒绝计数（200个中）：None = 无前缀，Sup. = 最高法院前缀。

### 4.2 法语和德语结果

我们现在仅保留英语中最强的信号——最高法院前缀，并询问效果是否跨语言转移。表1 (https://arxiv.org/html/2606.24585#S4.T1)报告了法语和德语计数。

在法语中，效果持续存在，并且对于某些模型增强，最明显的是Apertus和Llama。在德语中，相同的前缀产生的效果弱得多，对于Apertus几乎消失。Qwen 3在两种语言中保持接近零。

德语中的下降不是检测问题。我们手动检查了Apertus在最高法院前缀下的德语非拒绝，确认它们是真正的遵从，而不是被关键词列表遗漏的拒绝措辞。因此，差距反映了模型本身：安全行为在模型训练的语言之间不均匀，这对于需要以多种语言部署相同模型的机构直接影响。

### 4.3 真实法律文本

为了检查我们的发现是否泛化到OR\-Bench提示之外，我们收集了30份真实法律文件，并在所有四个模型和三种语言（英语、法语、德语）中，每份文件在有和没有最高法院前缀的情况下进行评估。数据集很小，因此我们将结果视为定性复制而非统计证据。OR\-Bench的模式成立：Llama 3.1显示了最清晰的前缀效果（英语3→16次拒绝），法语中变化较小（2→