设计治理：构建面向组织学习与可扩展自主性的代理型人工智能

# 设计驱动治理：为组织学习与可扩展自主性构建代理式AI系统
来源：https://arxiv.org/html/2605.20210

Nelly Dux  
ESSEC商学院  
[email protected]  
Nelly Dux是法国塞尔吉ESSEC商学院的博士研究员。她的研究聚焦人工智能的治理与组织影响，尤其关注组织如何在知识密集型环境中设计、部署和扩展代理式AI系统。联系方式：[email protected]

Cristina Alaimo  
ESSEC商学院  
[email protected]  
Cristina Alaimo是ESSEC商学院信息系统、数据分析和运营学副教授。她的研究探讨数据、数字平台和AI驱动系统如何重塑市场与组织。她是《数据规则：重塑市场经济》（MIT出版社，2024）的合著者，并担任《组织研究》和《欧洲信息系统杂志》的高级编辑。联系方式：[email protected]

Philippe Roussiere  
埃森哲研究院  
[email protected]  
Philippe Roussiere是埃森哲研究院创新与AI全球负责人。他在面向客户和思想领导力项目的研究领导方面拥有超过25年的经验，专注于推动人工智能在各行业的应用。联系方式：[email protected]

Abhishek Kumar Mishra  
埃森哲研究院  
[email protected]  
Abhishek Kumar Mishra是埃森哲研究院的高级总监。他在数据科学、人工智能和企业级AI转型方面拥有超过17年的经验；目前的工作重点是设计和部署用于大规模知识工作流的多代理和检索增强系统，应用涵盖多个行业。联系方式：[email protected]

###### 摘要

代理式AI系统——能够通过多步规划和工具中介行动、在有限直接监督下追求目标的系统——正从实验性原型转向企业部署。这一转型在实施、扩展和治理方面引入了张力：组织追求知识工作和协调工作的可扩展自主性，但必须在系统启动行动、访问企业数据并通过迭代更新演化时，维护问责性、安全性、成本控制和责任。基于对一家大型IT服务公司2025年开发并分阶段部署与企业工具集成的代理系统的深入定性案例，我们展示了治理是通过具体的架构和工作安排来实现的，这些安排决定了系统被允许做什么、可以使用哪些工具和数据、如何处理记忆，以及如何随时间引入性能改进。然后，我们提炼出七条经验，解释如何在运营化和扩展过程中将有效治理构建到代理式AI中。¹¹¹作者感谢David Kimble、Vincenzo Palermo、Charlotte Raut和Patrick Connolly对本研究的贡献。

关键词：代理式AI，AI治理，组织学习，社会技术系统，系统治理，人在主导地位，记忆，数据

## 1 引言

AI正从幕后预测引擎转变为台前的组织行动者，塑造着工作如何完成、决策如何准备以及跨团队和系统的协调如何发生。在信息系统和管理研究中，这种转变已被作为AI作为一种变革性数字技术所带来的更广泛组织后果的一部分来研究，这种技术重塑了惯例、能力和治理安排（Berente et al., 2021 (https://arxiv.org/html/2605.20210#bib.bib3)；Floridi et al., 2018 (https://arxiv.org/html/2605.20210#bib.bib6)；Mikalef and Gupta, 2021 (https://arxiv.org/html/2605.20210#bib.bib10)；Vassilakopoulou et al., 2022 (https://arxiv.org/html/2605.20210#bib.bib18)）。然而，随着组织从生成式AI工具转向能够自主行动的代理式AI系统，管理这一转型需要做出架构和治理决策，将问责性和控制视为与技术架构成熟度和组织学习过程密不可分（Wang et al., 2024 (https://arxiv.org/html/2605.20210#bib.bib19)）。

在本研究中，代理式AI指的是在有限直接监督下，通过执行未完全预先指定的多步行为，随时间追求复杂目标的AI系统。实际上，代理系统在五个对组织相关的维度上不同于标准的LLM聊天工具：自主性（独立执行）、工具使用（调用企业服务和API）、编排（对工作流和代理进行排序）、记忆（在步骤或会话间携带状态）以及委托决策（在设定的边界和策略内选择行动或路径）。这一定义强调，代理式AI被明确设计用于 (a) 生成计划，(b) 调用工具，(c) 产生中间产物，(d) 基于结果修订行动，以及 (e) 从记忆结构中存储或检索信息（Wang et al., 2024 (https://arxiv.org/html/2605.20210#bib.bib19)）。

从治理角度来看，这些属性意味着AI系统不再局限于产生建议，而是能够启动行动、访问企业工具并影响跨工作流的成果。这种变化引发了实际的治理和设计问题：当系统行为超出孤立输出并进入协调的组织流程时，谁仍对决策和后果负责？例如，为早期AI系统构建的风险管理项目（包括模型验证、伦理审查和事后监控），当AI工具能够启动行动、跨步骤产生复合错误并通过更新或反馈循环改变行为时，会变得紧张（Raji et al., 2020 (https://arxiv.org/html/2605.20210#bib.bib15)；Selbst et al., 2019 (https://arxiv.org/html/2605.20210#bib.bib17)；Dignum, 2019 (https://arxiv.org/html/2605.20210#bib.bib5)）。监管框架也越来越要求组织确保记录、透明度、可追溯性、人类监督和鲁棒性，这些在多组件代理系统中变得更加复杂（European Parliament and Council, 2024 (https://arxiv.org/html/2605.20210#bib.bib7)；NIST, 2023 (https://arxiv.org/html/2605.20210#bib.bib11)）。

先前的工作为将治理整合到代理系统中提供了重要构建模块：基于LLM的代理和多代理系统的类型学（Schick et al., 2023 (https://arxiv.org/html/2605.20210#bib.bib16)；Wang et al., 2024 (https://arxiv.org/html/2605.20210#bib.bib19)）；技术模式，如检索增强生成（RAG）、工具调用和代理框架；以及关于负责任AI和人机协作的组织讨论（Ananny and Crawford, 2018 (https://arxiv.org/html/2605.20210#bib.bib2)；Berente et al., 2021 (https://arxiv.org/html/2605.20210#bib.bib3)；Raisch and Krakowski, 2021 (https://arxiv.org/html/2605.20210#bib.bib14)）。然而，围绕一个核心问题，学术和实践格局仍然碎片化：在成熟组织内部，系统必须在异构工具、既定数据基础设施和与AI堆栈不同步的组织惯例中运行时，如何为代理系统设计、实施和更新治理（Alaimo and Kallinikos, 2024 (https://arxiv.org/html/2605.20210#bib.bib1)）。

因此，我们提出以下问题：*随着代理式AI系统在企业工作流中获得更多操作自主权，组织如何为其设计、演进和扩展治理。* 我们不是提出一个明确的治理框架，而是强调系统开发和学习成熟度之间的联系，并审视组织在实施和扩展代理式AI时面临的核心挑战：如何提高系统自主性，同时维护问责性、可追溯性和控制。我们表明，代理式AI中的治理与早期的技术和AI治理方法不同，因为它应逐步嵌入到关于工具访问、数据边界、记忆配置和人类监督检查点的架构设计决策中，而不是作为外部合规层实施。基于这一见解，我们引入了一个学习成熟度模型，表明治理不是控制的静态实施，而是随着系统的学习能力和组织的准备度共同演进：随着代理从推动学习转向显式和隐式反馈学习，其不断增强的适应能力需要日益复杂的数据治理、记忆设计、监督机制以及用户实践、实施惯例和团队配置的相应变化。

本文的其余部分结构如下。首先，我们描述了一家大型IT服务组织（以下简称“该组织”或“该公司”）的定性案例研究，并概述经验背景、数据来源和分析方法。然后，我们分两步呈现发现。第一步重构该组织代理架构的分阶段演进，从受限的助手到集成的工作流和代理编排，展示治理如何逐步嵌入系统设计中。第二步引入学习成熟度模型，该模型概念化不同级别的记忆和反馈集成如何随时间重塑治理要求。在此基础之上，我们分析了扩展过程中出现的四个治理挑战：缺失记忆、工具和数据碎片化、无痕学习以及工作流-代理边界处的条件自主性；然后我们解释了公司如何通过设计驱动治理的干预措施来应对每个挑战。最后，我们综合阐述记忆配置、数据边界和分阶段自主性如何共同将代理架构转变为负责任的、受人类监督的组织学习之旅。

## 2 方法与经验背景

### 2.1 研究背景

本文基于2025年在一家大型IT服务组织进行的定性案例研究。该公司代表了一个在理论上具有信息量的背景，因为它将高知识强度与以实验为导向的文化相结合，其中速度、质量和责任是核心运营原则。该公司作为一个垂直整合的组织运营，拥有研究、工程、设计和交付能力，可用于项目人员配置——这些能力使得从概念愿景到可部署资产的快速迭代成为可能。这种内部创业心态（通过迭代构建从想法到成果）为采用和扩展新兴技术（如代理式AI）创造了强大的内部动力。此外，该公司受益于技术的民主化访问和大量的企业投资，使团队能够利用企业级基础设施和AI工具。

该公司大约在2022年（早于商用大型语言模型的广泛普及）建立了一个"代理实验室"，作为专门部门，探索专门构建的AI代理如何增强内部研究过程并实现新型生产力。虽然该实验室开发内部技术资产，但它也经常参与面向客户的业务，这可能会中断设计-构建工作流，并在实验和交付之间引入相互竞争的优先级。这种自主性、资源获取、对不同用例的关注以及治理监督的结合，使得该公司及其代理实验室成为研究代理式AI能力如何在成熟组织内试点、稳定并转化为可重复惯例的富有分析价值的场所。

### 2.2 研究设计与数据来源

我们对该公司开发并分阶段实施与现有工作流和企业数据源集成的代理式AI系统，进行了深入的定性案例研究。数据通过 (a) 观察系统构建和扩展活动，(b) 与架构设计和组织推广中的关键利益相关者进行访谈，以及 (c) 获取系统界面、架构图和治理相关产物（如计划、日志记录实践和入职资料）的档案材料来收集。分析着重追踪技术选择和组织安排如何随着自主性增加和治理张力变得突出而共同演进。

主要数据包括对12名员工进行的17次半结构化访谈，分三波进行：推广前波（第1波，2025年4-5月；n=9）、推广后波（第2波，2025年7月；n=5）和跟进波（第3波，2025年11月；n=3），辅以一次通过电子邮件交流完成的书面访谈。（数据来源概览见表1 (https://arxiv.org/html/2605.20210#S2.T1)，访谈概览见表2 (https://arxiv.org/html/2605.20210#S2.T2)。）此外，还进行了三次观察——两次工具推广培训课程（线下和线上，2025年6月）和一次联合研究活动（2025年6月18日）——以及八次与核心研究团队的更新会议。次要数据包括20份内部和公开的组织文件（演示文稿、报告、RAI框架、新闻稿和博客）、两篇行业文章和一份内部调查。

表1：主要和次要数据来源概览

表2：访谈概览

### 2.3 分析方法

我们采用迭代主题分析方法，随着系统从受限助手向更具代理性的架构演进，识别治理机制和反复出现的张力。我们首先构建了关键事件和设计决策的时间线图，将经验材料沿着区分三个阶段的演进时间线组织起来，这三个阶段与系统的分阶段推出相一致：推广前阶段（2025年3月至5月），我们在此阶段捕获了基线条件并进行了"第1波"访谈，此时正在进行约25名用户的Beta测试；推广和采用阶段（2025年6月至7月），恰逢2025年6月4日首次正式部署给公司员工，我们在此期间进行了培训课程的现场观察和第2波访谈，以记录用户的即时反应和新兴的治理挑战；以及采用后和扩展阶段（2025年10月至2026年2月），第3波跟进访谈追踪了架构选择如何被修订、引入了哪些新的治理机制（例如信任评分、AI辅助Beta测试），以及为更广泛的组织采用制定的计划。

需要注意的是，底层技术平台——最初是一组独立的AI助手和内部工具——自大约2022年以来就一直在该公司的代理实验室中开发，远早于商用大型语言模型变得广泛可用。在我们的发现中描述的代理能力（编排、多代理协调、受治理的数据层）是在后来，通过始于2025年初的分阶段转型才出现的。因此，我们的研究捕捉到了这一特定窗口期，在此期间该平台从受限助手过渡到代理执行，并且治理张力变得突出。

在每个阶段内，我们追踪了架构选择、治理安排和用户实践如何共同演进。主题是通过反复深入分析现场材料来发展的，并根据负责任AI和生命周期治理文献中的治理构念进行精炼（Floridi et al.,