Agentic AI 的安全与隐私：重大挑战与未来方向

# 自主AI中的安全与隐私：重大挑战与未来方向

来源：https://arxiv.org/html/2607.06608

Adam Jenkins, Agnieszka Kitkowska, Caterina Maidhof, Diego Paracuellos, Francesco Sovrano, Gonzalo Gabriel Méndez, Guillermo Suarez\-Tangil, Hana Kopecka, Isabel Wagner, Isabel Barberá, Javier Carnerero\-Cano, Jide Edu, Jose Luis Martin\-Navarro, Jose Such, Josep Domingo\-Ferrer, Juan Carlos Carrillo, Kopo Marvin Ramokapane, Mark Coté, Pablo Vellosillo, Ramon Ruiz\-Dolz, Rongjun Ma, Ruba Abu\-Salma, Sameer Patil, William Seymour, and Xiao Zhan

A. Jenkins、M. Coté、R. Abu\-Salma 和 W. Seymour 就职于英国伦敦国王学院。A. Kitkowska 就职于瑞典延雪平大学计算机科学与信息学系。C. Maidhof、D. Paracuellos、H. Kopecka、R. Ma、G. G. Méndez、J. L. Martin\-Navarro、J. C. Carrillo、P. Vellosillo 和 X. Zhan 就职于西班牙瓦伦西亚理工大学。G. G. Méndez 同时就职于法国雷恩国家信息与自动化研究所（Inria）。J. Carnerero\-Cano 就职于爱尔兰IBM研究院。J. L. Martin\-Navarro 同时就职于芬兰阿尔托大学。J. Such 就职于西班牙INGENIO（CSIC–瓦伦西亚理工大学）。G. Suarez\-Tangil 就职于西班牙马德里IMDEA网络研究所。I. Wagner 就职于瑞士巴塞尔大学。I. Barberá 就职于荷兰数据保护局（AP，海牙），同时也是独立研究员。J. Edu 就职于英国斯特拉斯克莱德大学。J. Domingo\-Ferrer 就职于西班牙塔拉戈纳罗维拉·维尔吉利大学计算机工程与数学系、CYBERCAT 和 ComSCIAM。K. M. Ramokapane 就职于英国布里斯托大学。R. Ruiz\-Dolz 就职于英国邓迪大学。S. Patil 就职于美国犹他大学Kahlert计算学院。F. Sovrano 就职于瑞士卢加诺信息学大学（USI）信息学系。

######  摘要

本文基于一次地平线扫描活动，提出了自主AI（agentic AI）在安全与隐私方面的关键挑战和未来研究方向。该活动汇聚了来自学术界、产业界和政府的三十位顶尖国际专家，通过专题讨论和协作练习，共同探讨了AI持续增长的自主性所带来的新兴风险。

## 1 引言

自2022年ChatGPT公开发布以来，AI发展迅猛，催生了广泛的应用。通用型AI模型能力日益增强且更加用户友好，例如ChatGPT\[57 (https://arxiv.org/html/2607.06608#bib.bib21)\]等系统，它们拓宽了AI的普及渠道，鼓励人们探索潜在的AI有益应用。此外，针对特定任务设计的定制化AI应用开辟了新途径\[50 (https://arxiv.org/html/2607.06608#bib.bib23)\]，使用户能够根据自身需求和场景定制AI系统，并将其与外部工具集成。例如，用户可以将AI连接到个人日历进行任务管理。除了定制化之外，AI系统被赋予的日益增长的自主性，使其能够在减少人类监督的情况下规划、协调和执行越来越复杂的工作流程。向自主AI的转变体现在OpenClaw\[58 (https://arxiv.org/html/2607.06608#bib.bib22)\]等自主系统的日益流行中，这表明AI正从被动辅助转向主动行动。

自主AI应用的发展给安全和隐私研究带来了重大挑战。随着AI代理被授予更多权限以获得更大的自主性，用户面临的安全和隐私风险也随之增加。新兴威胁包括提示注入攻击\[47 (https://arxiv.org/html/2607.06608#bib.bib24)\]、AI平台上恶意应用的泛滥\[67 (https://arxiv.org/html/2607.06608#bib.bib25)\]，以及为了换取便利性和易用性（通常受拟人化信任驱动\[93 (https://arxiv.org/html/2607.06608#bib.bib26)\]）而向AI应用泄露敏感个人信息。这些发展凸显了理解日益先进的AI代理所带来的挑战的重要性，以及在相关漏洞深度嵌入技术基础设施和日常实践之前，预判自主AI潜在未来风险的必要性。专家评估至关重要且时机恰当，因为它使我们能够收集和理解相关威胁，评估潜在的风险缓解路径，尤其是在自主AI尚未通过用户导向的安全和隐私视角进行系统审视的情况下。

本文阐述了一项地平线扫描活动的成果，该活动概念化了自主AI系统中的关键安全和隐私挑战，审视了有效应对这些挑战的障碍，并确定了克服这些障碍的未来研究方向。该活动的成果为希望主动治理和减轻与日益自主的AI技术相关风险的研究人员、政策制定者和从业者提供了可操作的启示。

## 2 方法

参考图1：地平线扫描工作坊流程及本文报告的输出

我们于2026年3月11日至13日在西班牙瓦伦西亚理工大学连续三天开展了地平线扫描活动，每天进行一次小组讨论。工作坊汇聚了来自多个国家和地区（加拿大、中国、欧盟、英国、美国）学术界、产业界和政府的30位顶尖国际专家，就AI自主性增长带来的新兴挑战进行了专题讨论和协作练习。我们选择地平线扫描作为方法论，因为它能够系统地探索快速发展的技术领域中的新兴趋势、未来风险和社会影响\[4 (https://arxiv.org/html/2607.06608#bib.bib27)\]。这种方法特别适合审视自主AI系统未来的安全和隐私影响。

在工作坊开始前，首席研究员对自主AI的当前格局和最新进展进行了概述。为了在参与者之间建立共同理解，介绍中包括一个基于OpenClaw\[58 (https://arxiv.org/html/2607.06608#bib.bib22)\]的示例说明。这次介绍环节帮助所有参与者熟悉了自主AI的背景、能力和新兴关注点。

我们将30位参与者分成三组，每组分配一个独立的房间进行并行讨论。在三天的活动中，小组成员保持不变，以支持讨论和协作的连续性。每组有两名具有人机交互（HCI）、安全和隐私专业知识的主持人支持他们参与活动。此外，还有一名流动主持人协调各组活动，并在需要时提供后勤和组织支持。

在三天的活动中，我们采用了受亲和图方法\[48 (https://arxiv.org/html/2607.06608#bib.bib28)\]启发的讨论结构，结合了个人头脑风暴和小组协作讨论。为了鼓励更深入的互动和参与，我们进一步将每组内的参与者分成4-5人的小组。每天的会议结合了个人反思、小组讨论和全体综合。主持人介绍会议目标和引导性问题，之后参与者进行个人头脑风暴，在小群体中讨论和聚类，然后通过引导式的亲和图过程整合结果。

工作坊的结构设计为从场景生成逐步过渡到风险识别，再到可能的干预措施和研究方向。第一天聚焦自主AI的新兴用例及其相关的安全和隐私问题，由两个问题引导：（i）“未来，自主AI可能出现哪些具体用例？”以及（ii）“在这些用例中可能出现哪些安全和隐私问题？”第二天审视了处理第一天所识别问题的挑战。第三天则关注潜在的研究方向以及研究人员、AI开发者和政策制定者可采取的行动。

每次会议结束后，主持人综合三个小组的产出，并利用这些总结来构建第二天的活动框架。我们呈现了从工作坊讨论中得出的最突出的挑战和研究机会，并围绕四个主要总体主题进行组织。图1 (https://arxiv.org/html/2607.06608#S2.F1) 展示了工作坊流程，包括出现的四个主要总体主题，这些主题将在本文后续部分介绍。

## 3 主题一：谁负责？法律合规、治理与责任

自主AI系统使得法律合规变得困难，因为责任往往分散在行动、行动者和技术组件之间。单个工作流程可能结合了基础模型、编排层、检索系统、第三方工具、用户数据以及由不同方维护的下游服务。随着自主AI系统随时间进行规划、委派、执行和修正行动，识别谁控制了相关决策以及谁应为其后果负责变得更加困难\[45 (https://arxiv.org/html/2607.06608#bib.bib19),89 (https://arxiv.org/html/2607.06608#bib.bib1),14 (https://arxiv.org/html/2607.06608#bib.bib18)\]。

欧盟法律提供了一个有用的起点。根据《通用数据保护条例》（GDPR），问责原则要求数据控制者负责并能够证明其符合合法性、公平性和透明度等原则\[27 (https://arxiv.org/html/2607.06608#bib.bib43)\]。针对高风险AI系统的《欧盟AI法案》包含了相关义务，例如记录保存、技术文档、部署者的透明度、人类监督以及上市后监控\[30 (https://arxiv.org/html/2607.06608#bib.bib20)\]。与平等和非歧视原则\[26 (https://arxiv.org/html/2607.06608#bib.bib48)\]一并解读，这些监管工具为自主AI指明了三个合规锚点：可证明的问责、运营透明性以及防止不公正或歧视性结果。

通过可解释AI（XAI）方法生成的解释性产物，连同日志和文档，可以支持监督、质疑、审计和责任评估。然而，它们本身并非合规机制。为了支持法律合规，它们必须忠实于系统行为，针对相关受众适当，并与具体的义务、权利和干预权力相关联\[78 (https://arxiv.org/html/2607.06608#bib.bib34),76 (https://arxiv.org/html/2607.06608#bib.bib35)\]。研究挑战在于，将法律上的问责、透明性和公平性要求转化为在自主AI供应链、行动轨迹和部署后变化中仍然有效的技术和组织机制。

**碎片化供应链中的人类监督与责任。** 自主AI系统很少由单一行为者构建或运营。一个部署的代理可能结合了基础模型、编排框架、插件或技能、检索基础设施、用户特定记忆以及由不同贡献者编写或运营的子代理。这使得问责变得困难，并非因为缺乏监管，而是因为现有的监管义务通常分配给特定的角色、部署环境或部门，而这些并不能清晰地映射到端到端的自主AI工作流程\[18 (https://arxiv.org/html/2607.06608#bib.bib40),53 (https://arxiv.org/html/2607.06608#bib.bib42)\]。例如，《欧盟AI法案》将义务分配给提供者、部署者、进口商、分销商和其他行为者，并要求高风险AI系统的设计使得人类能够有效监督它们\[30 (https://arxiv.org/html/2607.06608#bib.bib20)\]。其他制度则规定了相关但更垂直或特定情境的义务：GDPR围绕自动化决策提供了保障措施，包括某些情况下的人工干预；《欧盟数字服务法》针对平台和推荐系统透明度；《欧盟医疗器械法规》将符合条件的医疗软件视为医疗器械；修订后的《欧盟产品责任指令》明确软件（包括AI系统）在无过错责任目的上可被视为产品\[27 (https://arxiv.org/html/2607.06608#bib.bib43),29 (https://arxiv.org/html/2607.06608#bib.bib44),28 (https://arxiv.org/html/2607.06608#bib.bib45),31 (https://arxiv.org/html/2607.06608#bib.bib46)\]。因此，法律XAI研究表明，自主AI中的问责挑战应谨慎构建：挑战不仅仅是白手起家为自主AI创建问责制，而是要使得当前碎片化、按部门和按角色的义务在自主AI供应链中具有可操作性\[76 (https://arxiv.org/html/2607.06608#bib.bib35)\]。  

人类监督是责任问题的核心。它不应被简化为名义上将人类置于“环中”。有效的人类监督要求负责的个人或组织具有足够的因果干预能力、理解相关情况的认知途径、行动权力以及用于上报、质疑和补救的程序\[80 (https://arxiv.org/html/2607.06608#bib.bib41)\]。自主AI系统对这些要求造成压力。人类监督者可能只看到最终输出，而相关事件发生在较早的工具调用、检索步骤、委派子任务或第三方服务访问中。所需的日志可能由另一个行为者控制。AI代理的响应速度可能快于人类审查的速度，或者可能呈现一个自信的叙述，助长自动化偏差\[42 (https://arxiv.org/html/2607.06608#bib.bib15)\]。在这种情况下，文档、解释和审计追踪对于人类监督是必要的，但除非与实际的组织责任相联系，否则它们是不够的。因此，当前的XAI和合规技术应被视为初期的支持基础设施，而非人类和机构判断的替代品。

这种谨慎态度因软件工程中一个更广泛的问题而得到加强：即使在非AI情境下，文档也难以保持最新、完整并与不断演化的系统保持一致。从业者报告了文档不充分、不适当、过时和模糊等反复出现的问题，而代码库研究表明，文档很容易与其意图描述的实现不一致\[2 (https://arxiv.org/html/2607.06608#bib.bib59),3 (https://arxiv.org/html/2607.06608#bib.bib58),86 (https://arxiv.org/html/2607.06608#bib.bib60),75 (https://arxiv.org/html/2607.06608#bib.bib30)\]。当文档不仅用于工程协调，还用作法律合规的证据时，问题会更加严重。例如，《欧盟AI法案》的技术文档要求包括预期目的、系统设计、数据治理、风险管理、人类监督、性能和上市后监控等信息。这些要素难以自动化，因为它们依赖于上下文的法律判断、组织责任以及证据，而这...（文本截断，但根据上下文，这部分应继续）