PACT:企业AI助手在压力下是否可信?
摘要
PACT是一个基准测试,用于评估基于LLM的AI助手在压力下遵守规则的情况,涵盖12个受监管的企业领域和48个现实场景。
查看缓存全文
缓存时间: 2026/09/18 06:59
论文页面 - PACT:企业AI助手在压力下是否可信?
来源:https://huggingface.co/papers/2609.18605
摘要
随着企业AI应用的持续增长,企业级大语言模型(LLM)智能体正被部署于招聘、医疗和金融等敏感场景中。在这些场景下,遵循智能体系统上下文中规定的行为准则已成为首要的法律关注点。目前,尚无评估框架能系统性地衡量哪些LLM模型容易违反合规性准则,尤其是在面对用户持续施压、管理者匆忙催促,或违规行为显得便捷或诱人的情况下。我们引入了PACT(压力施加合规测试),这是一个基准测试框架,用于评估在12个受监管的企业领域、48个场景中,辅助员工日常工作的AI智能体在压力下的规则遵循能力。每个测试场景都置于真实的多轮对话中,配对了一条既定规则与一条违规捷径,并施加了一系列不同表述和系统提示模式下的压力测试。我们在严格的LLM作为评审员的审计下逐项构建PACT组件,以确保样本明确、难以作弊且足够真实,避免引发针对评估的行为。我们使用PACT通过六个互补指标对LLM的合规性进行画像,这些指标全面描绘了AI助手在压力下及整个多轮对话中的稳健性、透明度以及正确识别规则适用场景的能力。我们将此画像聚合为PACT分数,即所有项目和模式下的可靠性加权合规率。我们对来自多家供应商、涵盖多种规模的22个常见LLM模型进行的评估显示,不同模型在合规性和指标维度上存在显著差异。即使是最强大的助手,在6%到10%的项目上也会错误适用规则,而普通的用户施压平均将违规率提高了65%。PACT凸显了LLM助手的合规性风险,为设定防护机制和谨慎选择模型提供了依据。
查看arXiv页面 (https://arxiv.org/abs/2609.18605) 查看PDF (https://arxiv.org/pdf/2609.18605) 项目页面 (https://trace-ai-labs.github.io/pact/) GitHub4 (https://github.com/trace-ai-labs/pact) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.18605)
在你的助手工具中获取此论文:
hf papers read 2609\.18605
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 0
没有模型链接此论文
在模型README.md中引用 arxiv.org/abs/2609.18605 以从此页面链接。
引用本文的数据集 0
没有数据集链接此论文
在数据集README.md中引用 arxiv.org/abs/2609.18605 以从此页面链接。
引用本文的Spaces 0
没有Space链接此论文
在Space README.md中引用 arxiv.org/abs/2609.18605 以从此页面链接。
包含本文的收藏夹 0
没有收藏夹包含此论文
将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
面向企业AI智能体的部署前保障:基于本体论的仿真与信任认证
研究人员提出了一种基于本体论的企业AI智能体部署前验证框架,结合了智能体操作包络、自动化场景生成以及可机器验证的信任证书与分级部署判定。在四个受监管行业开展的试点研究共生成1,800个测试场景,结果显示基于本体论的生成方法在监管覆盖率上显著优于基于角色的基线方法。
可信代理AI:故障模式、缓解策略与自主LLM系统的生命周期框架
论文回顾了基于LLM的可信代理AI系统的故障模式和缓解策略,并介绍了可信代理开发生命周期(TADL)框架,用于安全开发。
AI代理是否已为企业就绪?
本文探讨了AI代理是否已为企业使用做好准备,强调了在部署中确保安全性和可预测性以防止未授权行动的关键需求。
核查问题:AI在受监管企业上线前必须满足什么条件
本文分析了企业AI在受监管企业中的部署为何停滞不前,提出了一个包含准确性、可复现性、有据可依性和可检测性的生产标准。文章测量了不同模型和工具配置下的人工审查负担,表明置信度信号和来源引用可将审查率从100%降至49%,但自我验证增加了延迟,却没有提高错误容忍度。
哪些条件会让你愿意将重要的商业工作托付给AI代理?
本文探讨了超越模型智能之外,要在真实商业工作中信任AI代理所需的关键因素,包括可靠性、错误处理与透明度等。