立场：行为系统需要行为测试

# 立场：行为系统需要行为测试  
来源：https://arxiv.org/html/2608.18081  

###### 摘要  
人工代理系统正日益通过与动态环境交互、追求目标并随时间适应，从而以行为系统的方式运作。然而，当前的评估方法主要关注性能结果，而非产生这些结果的底层行为过程。本文主张，AI代理必须像其他行为系统一样被评估：通过系统性地观察、扰动并解释其行动。我们借鉴行为科学的教训来支持这一立场，并提出一个以开发严格行为测试为重点的研究议程。这些测试包括从行动序列中恢复决策策略的方法、构建能隔离行为差异的环境，以及探究多代理系统中的涌现动态。总体而言，这些方向为发展AI行为科学提供了路线图。  

代理，AI代理，代理型AI，行为机器学习，鲁棒性，对齐，安全，行为系统，行为测试  

## 1 引言  
想象两个人在相似的谈判场景中导航并得出了相同的结果：为客户争取到了有利的折扣。其中一人通过说服达成：仔细倾听以发现共同的价值观和原则。另一人则依赖威慑：发出威胁并施加压力。在旁观者看来，两者都实现了预期结果。这是经典的**等效性**案例，其中结果的相似性可能掩盖了通往该结果的不同行为路径。在行为科学中，这引发了更深层次的探究。使用了哪些策略？是什么环境约束驱动了这些策略？仅靠表现无法回答这些问题，但答案显然具有重大的社会影响。  

本文立场认为，AI代理系统必须像其他行为系统一样对待：其可观察的输出必须通过生成它们的过程的视角来解释。这一目标要求发展一门**AI代理行为科学**。这里的**行为**指的是代理与环境（包括其他行为系统）交互产生的行动模式，通常受目标、约束、输入和内部机制的调节。研究这种意义上的行为让我们不仅能问代理**做了什么**，还能问它**何时**做，在特定条件下**为什么**如此行为，以及它在其他条件下行为可能如何改变（参见 Tinbergen, 1963）。我们认为，这项努力需要新的理论、方法和工程。虽然我们可以借鉴心理学、认知科学、动物行为学和经济学等成熟行为科学的智慧，但同样重要的是要注意到人工代理与生物代理不同。它们在不同的设计约束和与世界不同的接口下运行。例如，我们需要有原则性的方法来探测代理在受控环境变化下的行为，从轨迹推断策略，以及构建能揭示故障和错位的最小化测试。我们将此议程定位为与可解释性、形式化验证和基准测试工作不同但互补的工作。可解释性关注内部表征；形式化验证处理在预设假设下的形式属性；基准测试在固定任务上实施比较性能评估。相反，AI代理的行为科学将系统与其环境之间的关系置于中心，并为解释意外行为、比较实现相似结果的质性不同的策略，以及设计对策略敏感的评估协议提供基础。  

在本文中，我们阐述了这一研究方向的理由，并勾勒出实际实现的路线图。  

### 1.1 行为型AI系统的兴起  
要定义行为型AI系统，首先对比它们不是什么会有所帮助。大多数广泛部署的AI系统，如图像分类器、垃圾邮件过滤器和信用风险模型，可以被描述为**静态**的。它们以一次性方式将输入映射到输出，通常无状态。这些系统作为决策辅助工具而非自主行动者。在此设置中，人类解释输出并决定如何行动。评估侧重于输入-输出的正确性指标，例如分类器的分类准确性和错误类型。  

相比之下，行为型AI系统是**动态**的。它们与非平稳环境交互，基于随时间观察到的信息做出一系列决策。它们的行为受中间结果塑造，这些结果可能影响未来行动。这类系统包括强化学习（RL）代理、许多机器人系统，以及现在嵌入在工具增强环境（如 Web、操作系统和金融平台）中的现代LLM代理。我们在本文中关注最后一类基于LLM的代理，因为我们认为它们最严重地缺乏当今AI评估基础设施的支持。与静态模型不同，这些代理生成基于环境状态的开放式行动序列。它们的行为无法从其设计中穷尽预测，而必须通过观察、扰动和解释来表征。  

基于代理的系统并非新事物。早期版本曾以“软件代理”、“接口代理”、“理性代理”等名称出现。然而，当代基于语言模型的代理有几个关键方面的不同。它们在开放、部分可观察且通常随机的环境中行动。它们的行动空间和任务背景更广泛且更不确定。这些差异表明，我们需要在评估思维模式上进行概念转变，特别是随着此类系统的普及及其社会经济重要性的增长。  

## 2 研究行为的教训  
人类历史上，对行为的科学理解发生了巨大转变，从超自然的解释演进到严谨的经验方法。最初，人类行为通过以人类为中心的视角被看待，将人类置于中心并视其为独一无二的理性存在。相比之下，动物行为长期被忽视或被视为无意识的。然而，随着人类行为研究日益揭示我们的认知局限性，动物研究则揭示了令人惊讶的智能。理解这一历史轨迹对于任何试图应对复杂系统中行为的人来说都至关重要。因此，本节也作为面向机器学习受众的行为研究主要先例介绍。  

### 2.1 行为研究的黎明  
早期人类的理解常将思想和情感归因于外部神灵或神祇的直接干预，而非内部过程。大多数人同样认为梦是包含关于过去、现在和未来的神圣信息，是能揭示指引或命运的顿悟。例如，苏格拉底在《克里托》中与克里托讨论，梦中“一位美丽端庄、身着白衣的女性形象”造访他，告诉他何时将被处决。这种观点在公元前六世纪开始转变，当时印度、中国和希腊出现了新的视角。佛陀提出思想源于感觉和知觉，孔子则强调人类塑造原则而非受其支配的能力。这种思想骚动在古希腊尤为强烈，早期哲学家旨在理解人类行为，并识别（并假设）了至今仍困扰研究者的核心心理学问题。不幸的是，在这个活跃时期之后，深刻的心理探究相对沉寂了近两千年，仅有一些显著例外。  

**要点**：我们应抵制将行为系统神秘化的冲动。  

### 2.2 理性主义者  
在经历了数个世纪的神学和形而上学主导之后，行为探究的第二次浪潮在十七世纪的启蒙运动时期到来。笛卡尔重新开启了心身辩论，创造了自亚里士多德以来前所未有的新心理学。他还提出“动物精气”从大脑通过神经流动以控制肌肉。尽管不正确，但这个模型首次描述了后来被称为反射的现象。然而，他将意识和理性等更高心理活动归因于灵魂，灵魂通过知觉和记忆获得观念，也拥有对经验作出反应的先天观念。另一位理性主义者斯宾诺莎得出了不同的结论，特别是通过主张所有心理事件都有先前原因来支持决定论。他还指出自我保存是人类的基本动机，预示了后来的心理学理论。  

**要点**：当观察到涌现行为时，应就其产生原因提出假设。  

### 2.3 经验主义者  
与理性主义者相对立的是经验主义者，他们否定先天观念的概念，认为心灵是经验发展的。霍布斯提出所有心理活动本质上是神经系统中原子的运动。洛克对此进行了著名阐述，认为心灵出生时是一块空白的石板，随时间被感官经验填充；复杂思想源自简单思想，而简单思想又来自感觉。这种对经验的关注也激发了将儿童与成人区分研究的兴趣。休谟进一步支持经验主义，认为心灵完全由知觉构成。他主张我们无法直接体验因果关系；相反，我们从观察事件的一致相继中推断它。  

**要点**：经验学到的行为继承其数据的偏见。  

### 2.4 先天主义者  
德国先天主义提出了一个反论点，认为心灵为经验贡献了先天结构。莱布尼茨引入了不同意识层面的新概念，尽管距离较远，却是弗洛伊德概念的先驱。康德深受休谟因果批判的影响，但仍确信我们理解现实和体验因果关系的能力。他认为心灵不是白板，而是积极地将经验组织和转化为知识。这种组织是通过固有能力进行的：空间和时间是我们感知事物的先天方式，其他先天范畴使我们能够理解经验。对康德来说，每个事件都有原因的理解并非从经验中学习，而是理解世界的先验条件。然而，康德也认为心理过程是非空间的，因此无法测量，从而排除了心理学成为一门实验科学的可能。  

**要点**：架构编码了塑造行为的归纳偏置。  

### 2.5 物理主义者  
18世纪末，一场革命正在发生，梅斯梅尔和高尔等生理学家开始用可观察的物理事件来解释心理过程。穆勒和韦伯等生理学家发现了神经系统的方面，使他们能够通过神经中可测量的物理和化学活动来解释基本的心理功能（如知觉和反射）。冯·亥姆霍兹在他的研究中证明了支持心理功能的神经过程的唯物主义，这意味着这些过程可以通过科学实验来检验。费希纳开创了心理物理学，表明心理感觉及其作为刺激的物理强度之间存在非线性关系。  

**要点**：通过探究内部机制来探索行为（例如可解释性）。  

### 2.6 现代心理学  
冯特被广泛认为是19世纪现代心理学的主要创始人，将其确立为一门独立的科学领域，并开发了用于心理过程实验研究的方法，这些方法被沿用了数代人。詹姆斯倡导机能主义，认为更高心理过程因其对生存的适应价值而演化。他在意识流、自我、无意识和革命性情绪理论方面开创了理念，认为身体反应先于情绪意识而非随之产生。大约在同一时期，弗洛伊德正在发展精神分析学，并被认为发现了动态无意识。高尔顿发起了心理测验和问卷调查的使用，启动了对个体差异的研究，这偏离了对普遍心理学原理的探索。这使他终生关注心理能力的遗传本质和优生学（他创造的术语，后来损害了他的名声）。  

**要点**：我们应精确表征不同模型间的行为差异。  

### 2.7 行为主义者  
20世纪初见证了行为主义的兴起，这与冯特、詹姆斯和弗洛伊德的内省方法形成鲜明对比。行为主义者认为心灵是一种幻觉，心理经验仅仅是神经系统对刺激的生理反应事件。桑代克（1898）和巴甫洛夫（1927）通过发现自然学习规律奠定了大部分基础。