智能体AI系统的价值保持架构

# 智能体AI系统的价值保持架构
来源：https://arxiv.org/html/2609.03920
DOI：10\.1145/3843282\.3844436（https://doi.org/10.1145/3843282.3844436）
ISBN：979\-8\-4007\-2985\-0/2026/10
会议：第一届面向下一代软件开发的智能体AI国际研讨会论文集；2026年10月12–16日；德国慕尼黑
第一届面向下一代软件开发的智能体AI国际研讨会（AgenticDev '26）论文集，2026年10月12–16日，德国慕尼黑
asews26agenticdevmain\-p100\-p
CCS：软件及其工程 超功能性
CCS：计算方法学 多智能体系统
CCS：软件及其工程 软件设计工程
CCS：计算方法学 智能体
收稿日期：2026\-08\-20

###### 摘要\.
智能体AI和基于大型语言模型（LLM）的多智能体系统（MAS）的出现，为自动化复杂任务带来了前所未有的机遇，同时也引发了关于如何保持以人类为中心的根本价值（如隐私、公平和安全）的关键关注。尽管传统软件工程一直关注功能正确性，但将LLM和AI智能体引入复杂社会技术系统，加剧了对负责任软件工程和稳健价值对齐的需求。在MAS中，架构设计决策（如协调机制、通信协议和系统拓扑）在塑造系统行为及其产生的结果方面发挥着核心作用。本文认为，架构选择不仅影响MAS的功能和性能，还能促进以价值为导向的系统行为。因此，我们研究了不同的架构设计如何支持不同的以人类为中心的价值，并讨论了以下价值保持架构模式：（i）具有联邦拓扑的隐私感知架构，（ii）促进多元主义和多样性的分布式架构，以及（iii）用于检测和缓解不公平性的守卫智能体架构。最后，我们引入了代表性用例来阐释所提架构在现实世界场景中的应用。通过将架构设计与以人类为中心的价值联系起来，本工作为设计值得信赖的MAS奠定了一套统一的架构模式和指导方针的基础。

###### 关键词：
智能体AI，多智能体系统，负责任软件工程

††许可：by
## 1\.引言
智能体AI正在迅速重塑软件的构思、构建和运营方式。AI智能体将大型语言模型（LLM）的应用从被动文本生成转变为专业的自主实体，这些实体能够进行规划、使用外部工具，并在运行时根据反馈进行调整（Wei等人，2026 (https://arxiv.org/html/2609.03920#bib.bib12)）。例如，一个旅行规划AI智能体可以自主在线搜索、执行预订航班和酒店等操作，并在情况变化（如航班取消）时调整其计划。自主性、规划和工具使用的原则可以扩展到单个智能体之外。多智能体系统（MAS）协调多个智能体，通过结构化通信进行协作，通过将共同目标分配给多个专业智能体、利用问题分解和并行执行来实现更复杂的目标，其能力超越了单个智能体（Tran等人，2025 (https://arxiv.org/html/2609.03920#bib.bib15)；Adimulam等人，2026 (https://arxiv.org/html/2609.03920#bib.bib1)）。特别是，智能体AI和MAS在软件工程领域引起了极大关注，协调的智能体被用于自动化需求获取、代码合成、测试生成以及软件生命周期中的决策支持（Hong等人，2023 (https://arxiv.org/html/2609.03920#bib.bib8)；He等人，2025 (https://arxiv.org/html/2609.03920#bib.bib32)）。

然而，随着自主智能体数量及其交互深度的增加，MAS在获得更强能力的同时，也付出了人类监督减少、透明度降低以及对生成的软件工件保障减弱的代价（Chan等人，2023 (https://arxiv.org/html/2609.03920#bib.bib14)）。在缺乏人类监督和充分的系统级设计保障的情况下，协调步骤中的单个故障可能会在整个系统中悄无声息地传播（Greshake等人，2023 (https://arxiv.org/html/2609.03920#bib.bib7)）。例如，当个人数据跨越智能体边界在原始领域之外被处理时，决策过程可能违反数据最小化原则（Li等人，2025 (https://arxiv.org/html/2609.03920#bib.bib17)）。在由中央编排智能体控制的架构中，系统的隐含偏好和决策策略可以通过过滤少数或异议观点来影响最终结果（Ashkinaze等人，2025 (https://arxiv.org/html/2609.03920#bib.bib3)；Feng等人，2024 (https://arxiv.org/html/2609.03920#bib.bib16)）。与此同时，当智能体受历史偏见数据影响时，一些社会偏见可能会在处理的各个阶段被放大和传播，最终产生看似流畅且权威、实则嵌入歧视的输出（Nguyen等人，2026 (https://arxiv.org/html/2609.03920#bib.bib18)；Yu等人，2025 (https://arxiv.org/html/2609.03920#bib.bib19)）。

尽管传统软件工程一直关注功能正确性和技术可靠性，但复杂的基于AI的社会技术系统的出现，要求人们越来越多地关注伦理意识、安全性以及与隐私、公平和安全等价值的对齐（Stahl and Eke，2024 (https://arxiv.org/html/2609.03920#bib.bib31)；Lu等人，2022 (https://arxiv.org/html/2609.03920#bib.bib27)）。针对这一关切，研究人员强调了负责任软件工程的重要性（Schieferdecker，2020 (https://arxiv.org/html/2609.03920#bib.bib28)；Bennaceur等人，2024 (https://arxiv.org/html/2609.03920#bib.bib20)），以及在软件开发全生命周期中（从需求规格说明到软件测试）将人类中心价值操作化的必要性（Shahin等人，2022 (https://arxiv.org/html/2609.03920#bib.bib23)；Mougouei等人，2018 (https://arxiv.org/html/2609.03920#bib.bib22)）。最近，文献强调了需要架构模式和设计技术来操作化负责任AI的原则，并使软件与以人类为中心的价值对齐（Lu等人，2022 (https://arxiv.org/html/2609.03920#bib.bib27)）。

一种常见的对齐智能体AI系统的方法是，通过引入系统级护栏（例如过滤最终输出或通过人在回路干预执行策略）来将价值保证视为事后约束，应用于原本无约束的架构（Kim等人，2026 (https://arxiv.org/html/2609.03920#bib.bib35)；Shamsujjoha等人，2025 (https://arxiv.org/html/2609.03920#bib.bib36)）。然而，这些机制依赖于预先定义的安全措施，并且仅在数据上游转换之后检查输出，而此时偏见或有害信息已经被引入、聚合和传播。这一局限性表明，价值保持不能仅仅委托给事后验证：架构决策（如协调机制、通信协议和系统拓扑）在决定价值如何最终实现方面发挥着核心作用，作为需求规格说明和系统测试的补充。因此，随着系统行为从自主智能体的交互中涌现，MAS架构的设计变得至关重要，并产生了以下研究问题：在智能体AI时代，如何利用架构设计来支持以人类为中心的价值？

这篇展望论文强调了MAS架构以结构化方式满足隐私、公平和多元主义的重要性，通过将反复出现的以人类为中心的需求转化为可重用的价值保持架构模式来解决。虽然先前的工作提出了通用的智能体AI模式目录（Liu等人，2025 (https://arxiv.org/html/2609.03920#bib.bib34)）并研究了在MAS背景下对安全（Raza等人，2026 (https://arxiv.org/html/2609.03920#bib.bib6)）、隐私（Li等人，2025 (https://arxiv.org/html/2609.03920#bib.bib17)；Yagoubi等人，2026 (https://arxiv.org/html/2609.03920#bib.bib13)）、公平（Borah and Mihalcea，2024 (https://arxiv.org/html/2609.03920#bib.bib5)；Aird等人，2024 (https://arxiv.org/html/2609.03920#bib.bib2)）和多元主义（Ashkinaze等人，2025 (https://arxiv.org/html/2609.03920#bib.bib3)；Feng等人，2024 (https://arxiv.org/html/2609.03920#bib.bib16)）的需求，本文研究了智能体架构选择与以人类为中心的价值之间的相互作用，这代表了实现MAS负责任软件工程的第一步。我们认为这是工程师在构建的系统中保持对人类价值控制权的具体一步。本文做出了以下贡献：

- 1\.我们从MAS的背景出发，框架了**负责任软件工程的核心挑战**，强调了智能体AI系统中以人类为中心的价值与架构设计之间的相互作用。
- 2\.我们讨论了三种**价值保持架构模式**——联邦孤岛协调、对等协商和计划触发守卫智能体，分别用于保护隐私、多元主义和公平性——介绍了它们的设计、智能体职责和协调流程。
- 3\.我们通过**具体用例场景**来阐释这些架构模式，展示其设计如何从结构上支持目标价值。

本文其余部分组织如下。第2节（https://arxiv.org/html/2609.03920#S2）概述了智能体AI以及负责任软件工程背景下的相关工作。第3节（https://arxiv.org/html/2609.03920#S3）描述了针对隐私、多元主义和公平性的三种价值保持架构模式。第4节（https://arxiv.org/html/2609.03920#S4）在现实世界场景中阐释了所提出的设计。最后，第5节（https://arxiv.org/html/2609.03920#S5）通过概述研究方向来总结本文，旨在创建一个统一的价值保持MAS架构模式目录。

## 2\.背景

#### 智能体AI与MAS

智能体AI系统是一个由LLM驱动的实体，它（i）在没有逐步人类指令的情况下自主行动，（ii）通过将高层目标分解为有序子任务进行规划，并（iii）使用工具——API、数据库、代码解释器——来执行这些任务。认知架构方面的处理映射了任何语言智能体所需的记忆、行动和决策模块，阐明了为什么规划和工具使用是能动性的构成特征而非附加功能（Sumers等人，2024 (https://arxiv.org/html/2609.03920#bib.bib11)）；补充性工作表明，让智能体能够从长时程任务的失败中恢复的，是对其执行轨迹的迭代自我反思，而非单次前向传递（Shinn等人，2023 (https://arxiv.org/html/2609.03920#bib.bib10)）。即使在单个智能体层面，这种自主性也用透明性换取了能力：推理过程涉及多个不会呈现给人类的内部步骤和工具调用，从而降低了所执行操作背后理由的可解释性。

MAS沿着三个轴放大了这种不透明性。首先是**行为不透明性**：在共享目标下协调多个专业智能体，虽然产生了分解、领域技能和局部故障韧性（Hong等人，2023 (https://arxiv.org/html/2609.03920#bib.bib8)），但产生的行为是智能体间交互的涌现属性，而非任何可检查组件的属性，因此无法从任何单个智能体中读出。其次是**归因不透明性**：当结果由多个自主智能体交换中间结果共同产生时，对其的责任——一个暴露的记录、一个被舍弃的观点、一个有偏见的推断——在整个网络中被稀释，难以追溯到单一源头（Chan等人，2023 (https://arxiv.org/html/2609.03920#bib.bib14)；Li等人，2025 (https://arxiv.org/html/2609.03920#bib.bib17)）。第三是**控制不透明性**：在典型的编排器拓扑中，每个子任务都通过来自一个节点的自然语言指令进行中介，因此当没有人监督时，该处的语义故障会悄无声息地传播到整个网络（Greshake等人，2023 (https://arxiv.org/html/2609.03920#bib.bib7)），并且交互图的深度使得人类有意义干预的点很少。最终结果是，对故障的健壮性无法转移到对目标未对齐的健壮性，而工程师**观察、归因和阻止**不良行为的能力恰恰随着能力的增长而减弱。因此，不透明性是使得人类价值保持难以通过外部手段保证的结构性缺陷，而人在回路（Mosqueira\-Rey等人，2023 (https://arxiv.org/html/2609.03920#bib.bib9)）只能部分弥合这一差距。这促使我们将保证机制内置于架构本身。

#### 负责任AI与软件工程

软件系统，特别是基于AI的软件系统日益增长的社会影响，已将软件工程研究和实践转向在开发全生命周期中明确纳入伦理考量。**伦理感知软件工程**（Aydemir and Dalpiaz，2018 (https://arxiv.org/html/2609.03920#bib.bib26)）提出在软件规格说明和开发期间系统地捕获和分析利益相关者价值，包括公平、可解释性和安全性等可信赖原则。在此方向上，有人提出了软件工程与负责任AI之间的桥梁（Lu等人，2022 (https://arxiv.org/html/2609.03920#bib.bib27)；Zhu，2023 (https://arxiv.org/html/2609.03920#bib.bib30)），以指导基于AI的软件的设计、开发和部署，同时考虑其更广泛的社会影响，并确保与以人类为中心的价值对齐。**负责任软件工程**将隐私、公平和可解释性等以人类为中心的价值提升到一等需求和设计目标的地位，以与传统上用于功能需求的相同严格方法论来对待它们（Bennaceur等人，2024 (https://arxiv.org/html/2609.03920#bib.bib20)；Schieferdecker，2020 (https://arxiv.org/html/2609.03920#bib.bib28)）。这一观点与其他倡议（如价值敏感设计）相呼应，后者主张在整个设计过程中对利益相关者价值进行原则性和系统性的考量（Friedman等人，2017 (https://arxiv.org/html/2609.03920#bib.bib25)；Zuber等人，2024 (https://arxiv.org/html/2609.03920#bib.bib38)）。在软件系统中操作化人类价值，指的是识别相关用户价值，并将其转化为可在软件系统中实现、验证、确认和度量的易于理解、具体的概念的过程（Shahin等人，2022 (https://arxiv.org/html/2609.03920#bib.bib23)；Whittle等人，2021 (https://arxiv.org/html/2609.03920#bib.bib24)；Mougouei等人，2018 (https://arxiv.org/html/2609.03920#bib.bib22)；Ferrario and Winter，2023 (https://arxiv.org/html/2609.03920#bib.bib21)）。最近，基于LLM的软件智能体的出现催生了**社会关键系统**的概念，这是一类新的软件系统，其行为可能对……