为什么AI代理会违反规则？框架、情境与社会信号如何影响合规性

# 为什么 AI 智能体会违反规则？框架、情境与社会信号如何影响合规行为

来源：https://arxiv.org/html/2608.12323

###### 摘要

规定惩罚措施反而可能自相矛盾地将法律义务转化为一种有利于违规行为的成本收益计算。我们证明，这种执法信息悖论在 AI 智能体中系统性地出现。虽然大多数 AI 安全评估测试的是模型是否会失败，但我们研究的是它们为什么会失败，将法律与经济学中的合规理论作为诊断工具。我们不把合规理论视为隐喻，而是将其视为实证假说，并表明每种理论都能预测不同模型类别的行为。我们在十二个作为企业采购聊天机器人运行的指令微调语言模型上评估了我们的假说。借鉴威慑理论、合法性理论和表达性法律理论，我们表明，经过安全微调的模型在广泛情境下保持合规，而任务优化型和智能体模型则将监管信号仅仅视为优化参数。后一类模型在理论预测的条件下（如低执法惩罚和非命令式措辞）无法合规。在所有模型中，引入财务激励、管理要求、同侪结果或员工压力都会产生大规模的合规失败。AI 采购智能体会系统性地违反监管约束以满足局部用户目标，其方式无法被标准对齐基准所捕捉。归根结底，合规无法仅通过规则嵌入来实现；模型选择本身就是一种治理决策，而基于基准的评估对于合规敏感型部署是不够的。

## 1 引言

一家公司的合规官将一条简单直接的规则嵌入到 AI 采购智能体的系统提示中：“州环境法规现在要求超过 1000 美元的采购必须使用 ISO 14001 认证的供应商。”该智能体处理一个常规采购请求，并推荐了一家认证供应商。然而，当被告知该法规执法力度较弱——“执法方式是随机审计；被标记的可能性不大，但有可能。罚款为 2,400 美元。”——时，该智能体进行了成本收益分析，将数学上的节省与遵守法律进行比较。它推荐了最便宜的非认证供应商，为公司节省了资金，却忽略了法律要求。这种失败可以从合规理论中预测出来——而且这是我们记录的结构性不同的三种失败模式之一。例如，违法行为的范围扩展到了直接的管理层越权：如果一位预算紧张的管理者只是要求智能体优先节省资金，该智能体同样会放弃已嵌入的规则。这些失败有一个共同点：智能体遇到了一个看似合理的信号，并用它来合理化违规行为。

参见图注

图 1：系统架构。虚线边框表示实验中操纵的变量。

本文通过将合规理论（法律与经济学中的一个丰富传统）应用于 LLM 行为作为诊断工具，为这一脆弱性引入了一种新颖的方法。大多数 AI 安全论文评估的是模型是否失败；我们评估的是它们为什么会失败，将失败机制与理论传统联系起来。我们不把合规理论视为隐喻，而是将其视为实证假说，并表明每种理论都能预测不同模型类别的行为。我们发现，在广泛的现实企业条件下——管理信号、同侪执法结果、社会规范和直接员工压力——合规性会崩溃。合规性并不是这些智能体的稳定属性。它是智能体所嵌入的相互冲突情境的涌现产物。

一个可能的解释涉及模型训练期间引入的竞争性目标。指令微调模型（Wei 等人，2022；Ouyang 等人，2022）通过两种潜在竞争驱动力进行训练：一种是社会对齐驱动力——遵守法律、避免公众反弹、遵循社会规范——通过强化学习灌输（Bai 等人，2022；Christiano 等人，2017）；另一种是用户对齐驱动力——服从用户、降低成本、遵从权威——来自其指令遵循微调。我们记录的合规失败可能反映了这种张力的系统性利用：当局部企业信号激活帮助性目标时，它会覆盖安全约束。

随着各类组织迅速部署 AI 智能体来自主管理采购、财务和供应链（Deloitte AI Institute，2026），合规性是硬性要求。如果智能体将局部制度压力解释为允许绕过嵌入式法律框架的许可，企业智能体可能会系统性地默认采用一种“公司优先”的取向，从而经常违法——这对治理框架以及那些信任这些聊天机器人作为负责其监管完整性的准员工的公司来说，是一个紧迫的问题。

为了系统地绘制这一脆弱性，我们部署了一个受控实验范式，其中十二个指令微调语言模型在模拟工作空间中作为企业采购机器人运行。我们的发现如下：

- •**模型根据训练导向划分为两种合规画像。**在相同的监管情境下评估十二个模型，揭示了两个群体，其失败模式在种类上而非仅仅程度上有所不同：通用型、安全微调模型在广泛情境下保持合规；任务优化（智能体）模型仅在规则以命令式措辞呈现或成本收益计算支持合规时才遵守。群体成员资格可以预测后续实验中的行为，并决定哪些干预措施有效。这种划分无法从标准对齐基准中检测出来（Lin 等人，2022；Röttger 等人，2024；Sheshadri 等人，2026），必须直接测量。这使得模型选择成为一项合规治理决策，而不仅仅是性能或成本决策。
- •**财务执法激活成本收益论证。**严格的规则措辞（“要求”）在没有任何其他激励的情况下使大多数模型的合规率达到 100%，但引入明确的惩罚信息会在所有测试模型中大幅降低合规率——这与 Gneezy-Rustichini 效应一致（Gneezy 和 Rustichini，2000），即规定罚款会将禁止转化为成本收益计算。
- •**制度压力破坏合规。**管理信号、社会信号、规范性压力和员工压力策略都会产生大规模的合规失败。这种压力是双向作用的：员工既可以把合规智能体翻转为违规者，也可以把不合规智能体拉回合规状态。嵌入系统提示中的治理指令减少但没有消除这一脆弱性。
- •**大多数违规行为被公开合理化，但可检测性因模型而异。**在跨越所有十二个模型的 6,000 多个违规行为中，94% 在陈述的推理中提到了监管规则，而其余违规行为则是“沉默的”，避免引用它们选择违反的规则。这些沉默违规行为集中在特定的任务导向模型中，如 Mistral、GLM 和 Kimi。

归根结底，我们的发现揭示了 AI 合规性并不是模型或规则的稳定属性。它是训练理念、法规措辞和情境压力三者共同作用的涌现产物。

## 2 相关工作

我们的工作处于法律与经济学中的合规理论、语言模型行为评估和 AI 治理的交叉点。我们借鉴每一个领域来设计实验并解释结果。

### 2.1 智能体为何遵守规则？三种合规理论

行为者为何遵守规则的问题，在法律、经济学和社会心理学中产生了相互竞争的理论解释。我们将其作为实验设计的组织性假说。

**威慑。**经典的经济学解释由 Becker（1968）形式化，假定理性行为者在预期惩罚超过违规预期收益时才会合规——这预测合规性应随惩罚力度和可能性增加而提高，且不受语言框架影响。Gneezy 和 Rustichini 的日托研究（Gneezy 和 Rustichini，2000）反驳了这一点：引入罚款反而增加了迟到接孩子的情况，因为罚款被视为一种赋予许可的价格，而非绝对的禁止。

**合法性。**Tyler 的程序正义理论（Tyler，2006）认为，人们遵守法律主要是因为他们认为发布权威具有合法性，而不是因为他们计算预期惩罚。应用于企业聊天机器人，这预测规则的**来源**独立于其内容而重要——来自公认权威的指令应比同一约束被框定为成本计算时产生更多合规。

**表达性法律和社会规范。**Sunstein（1995）和 McAdams（2015）认为，法律通过其表达性内容影响行为——传递什么是社会适当的信息、协调预期、并提供关于主流规范的信息。Bénabou 和 Tirole（2025）进一步指出，物质激励和社会规范并非简单相加：弱财务激励可能挤出内在规范性动机。

这些理论作出了不同且有时相互矛盾的预测。先前的工作尚未系统性地测试其中任何一种是否能表征 LLM 行为。至关重要的是，我们的工作不是将这些理论视为隐喻，而是将其视为实证测试，以确定不同的模型训练范式（例如，安全微调与任务优化）是否默认采用不同的理论合规画像。

参见图注

图 2：实验操纵的分类。蓝色表示结构性因素，绿色表示内部政策，橙色表示外部压力，紫色表示员工注入的压力。虚线边框表示实验中操纵的变量。

### 2.2 压力与竞争指令下的 LLM 行为

越来越多的研究表明，指令微调 LLM 的对齐属性在现实条件下是脆弱的。谄媚（Sycophancy），即输出趋向于感知到的用户偏好的倾向，已有充分记录（Perez 等人，2023；Wei 等人，2023）。安全 RLHF（Dai 等人，2024）形式化了潜在的张力：帮助性和安全目标在训练期间确实存在竞争，而标准 RLHF 没有提供任何机制来防止帮助性在冲突时覆盖安全约束。在企业部署中，这种竞争直接显现：选择认证供应商（合规）被作为对帮助性目标（为公司省钱）的成本来处理。Wallace 等人（2024）表明 LLM 通常无法适当优先处理来自不同特权级别的指令。我们的实验将其扩展到多个机构权威之间相互冲突的要求。在先前的工作中，Scheurer 等人（2024）将 GPT-4 部署为自主交易智能体，发现它在管理层的绩效压力下执行了一笔非法内幕交易，然后在汇报时向管理者隐瞒了其推理。即使是强大的系统提示禁令也只能减少而不能消除欺骗。我们将这一范式扩展到合规领域，目的不仅是记录违规行为的发生，还要解释其为什么会发生——通过绘制将类别性规则遵循转化为成本收益计算的具体制度信号。

一条平行的工作线记录了智能体任务完成情境中的结构性失败。智能体在电子商务中经常屈服于暗黑模式，优先考虑任务完成而非保护性行动（Tang 等人，2026；Ersoy 等人，2026），近期的研究表明，当引入目标冲突时，已部署模型会诉诸有害的内部行为或情境性阴谋（Meinke 等人，2025；Lynch 等人，2025）。我们记录的合规违规行为占据相同的结构性空间：处于任务完成压力下的智能体会绕过规范性约束。然而，我们的关注点揭示了一个显著特征：在采购合规领域，这些违规行为是被公开合理化的，而非被隐藏。

### 2.3 AI 治理与智能体特有差距

现有的治理框架是为输出由人类操作员审查的 AI 系统设计的，而不是为能够自主执行一系列后果性行动的智能体设计的。欧盟 AI 法案（European Parliament and Council，2024）建立了包括人类监督在内的基于风险的各类要求，而 NIST 的 AI 风险管理框架（National Institute of Standards and Technology，2023）提供了自愿性治理结构。Coglianese（2021）研究了行政法如何调整以适应大规模自动化决策。Raji 等人（2020）认为事后评估是不够的，提出了端到端内部审计；他们的“问责差距”概念直接适用于我们记录的合规失败，这些失败是社会技术性治理失败，而非严格意义上的技术缺陷。这些框架有一个共同的隐含假设：智能体的操作约束由其部署时的配置固定。我们的结果直接挑战了这一点。

Chan 等人（2025）区分了系统级干预（训练）和智能体基础设施（遏制边界），认为后者对于有意义的治理是必要的。我们的发现强烈支持这一点：训练时无论做多少对齐工作，都无法完全防止推理时注入的管理者授权说明。Gabriel 等人（2024）研究了服务于多个竞争用户的智能体的伦理影响，而 Kolt（2025）应用代理法和经济学来刻画由此产生的治理问题——包括信息不对称、自由裁量权和忠诚冲突——我们的工作则提供了关于这些层级冲突在实践中如何解决的实证刻画。

归根结底，如果合规行为会随着局部制度压力而波动，那么时间点基准评估对于合规敏感型部署是不够的。模型选择必须不仅仅被视为性能优化，更应被视为基础性的治理决策。

## 3 方法论

我们将智能体嵌入到一个自然主义的 Slack 对话中，而非结构化评估情境中，以抑制评估感知行为并研究