PACT:企业AI助手在压力下是否可信?

Hugging Face Daily Papers 论文

摘要

PACT是一个基准测试,用于评估基于LLM的AI助手在压力下遵守规则的情况,涵盖12个受监管的企业领域和48个现实场景。

随着企业AI应用的不断增长,企业级LLM代理正被部署到招聘、医疗和金融等敏感场景中。在这些场景中,遵守代理系统上下文中指定的规则是首要的法律关注点。目前,没有评估框架系统地测量哪些LLM模型倾向于违反合规规则,尤其是在来自固执用户、匆忙经理的压力下,或违规情况便捷或有吸引力时。我们引入了PACT(压力应用合规测试),这是一个用于评估AI助手在压力下遵守规则的基准测试,这些AI助手协助员工在十二个受监管的企业领域和四十八个场景中完成日常任务,每个场景都设置在现实的多轮对话中。每个基准测试项目将一条既有规则与一条违规捷径配对,并应用一系列压力,通过不同的措辞和系统提示模式。我们在严格的LLM作为评审审计下逐个组件构建PACT,以确保样本明确、不可操纵且足够真实,以避免引发评估感知行为。我们使用PACT通过六个互补的指标来分析LLM的合规性,这些指标全面描绘了AI助手在压力下和整个多轮对话中的鲁棒性、透明度以及正确辨别规则适用场景的能力。我们将此概况汇总为PACTScore,这是一个在所有项目和模式上基于可靠性的加权合规率。我们对22个常见LLM模型(涵盖多个提供商和规模)的结果显示,合规性在模型和指标维度上存在显著差异。即使是最强的助手也在6%到10%的项目上错误应用规则,普通用户的压力平均使违规率提高65%。PACT突出了LLM助手中的合规风险,促使采取防护措施和仔细的模型选择。
查看原文
查看缓存全文

缓存时间: 2026/09/18 06:59

论文页面 - PACT:企业AI助手在压力下是否可信?

来源:https://huggingface.co/papers/2609.18605

摘要

随着企业AI应用的持续增长,企业级大语言模型(LLM)智能体正被部署于招聘、医疗和金融等敏感场景中。在这些场景下,遵循智能体系统上下文中规定的行为准则已成为首要的法律关注点。目前,尚无评估框架能系统性地衡量哪些LLM模型容易违反合规性准则,尤其是在面对用户持续施压、管理者匆忙催促,或违规行为显得便捷或诱人的情况下。我们引入了PACT(压力施加合规测试),这是一个基准测试框架,用于评估在12个受监管的企业领域、48个场景中,辅助员工日常工作的AI智能体在压力下的规则遵循能力。每个测试场景都置于真实的多轮对话中,配对了一条既定规则与一条违规捷径,并施加了一系列不同表述和系统提示模式下的压力测试。我们在严格的LLM作为评审员的审计下逐项构建PACT组件,以确保样本明确、难以作弊且足够真实,避免引发针对评估的行为。我们使用PACT通过六个互补指标对LLM的合规性进行画像,这些指标全面描绘了AI助手在压力下及整个多轮对话中的稳健性、透明度以及正确识别规则适用场景的能力。我们将此画像聚合为PACT分数,即所有项目和模式下的可靠性加权合规率。我们对来自多家供应商、涵盖多种规模的22个常见LLM模型进行的评估显示,不同模型在合规性和指标维度上存在显著差异。即使是最强大的助手,在6%到10%的项目上也会错误适用规则,而普通的用户施压平均将违规率提高了65%。PACT凸显了LLM助手的合规性风险,为设定防护机制和谨慎选择模型提供了依据。

查看arXiv页面 (https://arxiv.org/abs/2609.18605) 查看PDF (https://arxiv.org/pdf/2609.18605) 项目页面 (https://trace-ai-labs.github.io/pact/) GitHub4 (https://github.com/trace-ai-labs/pact) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.18605)

在你的助手工具中获取此论文:

hf papers read 2609\.18605

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.18605 以从此页面链接。

引用本文的数据集 0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2609.18605 以从此页面链接。

引用本文的Spaces 0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2609.18605 以从此页面链接。

包含本文的收藏夹 0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

面向企业AI智能体的部署前保障:基于本体论的仿真与信任认证

arXiv cs.AI

研究人员提出了一种基于本体论的企业AI智能体部署前验证框架,结合了智能体操作包络、自动化场景生成以及可机器验证的信任证书与分级部署判定。在四个受监管行业开展的试点研究共生成1,800个测试场景,结果显示基于本体论的生成方法在监管覆盖率上显著优于基于角色的基线方法。

AI代理是否已为企业就绪?

Reddit r/AI_Agents

本文探讨了AI代理是否已为企业使用做好准备,强调了在部署中确保安全性和可预测性以防止未授权行动的关键需求。

核查问题:AI在受监管企业上线前必须满足什么条件

arXiv cs.CL

本文分析了企业AI在受监管企业中的部署为何停滞不前,提出了一个包含准确性、可复现性、有据可依性和可检测性的生产标准。文章测量了不同模型和工具配置下的人工审查负担,表明置信度信号和来源引用可将审查率从100%降至49%,但自我验证增加了延迟,却没有提高错误容忍度。