LLM能否担任CEO？基于多角色智能体模拟的战略资源重新配置基准测试

# LLM能否胜任CEO？基于多角色智能体模拟的战略资源重新配置基准测试
来源：https://arxiv.org/html/2606.17459
###### 摘要

评估大型语言模型（LLM）的决策能力正成为日益重要的研究方向，然而现有基准测试主要关注孤立认知任务，如推理、知识检索以及在程式化环境中的经济理性。这些评估忽略了真实高管决策的核心挑战：在信息不对称、组织约束和时间依赖条件下，整合来自专业利益相关者的冲突建议。我们引入CEO-Bench，这是一个多智能体基准测试，用于评估LLM在CEO级别的战略资源重新配置能力——即在多轮、约束丰富的组织环境中，跨业务部门重新分配资本的过程。在CEO-Bench中，LLM智能体接收来自四个角色驱动的C级顾问（CFO、CTO、COO、CMO）的冲突建议，每个顾问拥有私有信号和不同优先级，智能体必须将这些建议整合成具体的分配方案，并按照四个维度进行评估：角色整合、条件性大胆度、历史敏感判断和方案有效性。我们在13个场景中对五个前沿模型进行的实验表明，所有模型在结构有效性上均表现良好，但在战略校准（最难的能力层）上出现明显分化。我们识别出系统性失败模式，包括单一顾问捕获、模糊情境下的保守默认和历史遗忘，并发现一种结构性的整合-大胆度权衡：更深入参与冲突视角的模型往往产生较不果断的行动。这些发现勾勒出LLM作为组织决策者的当前能力边界，并为未来AI辅助高管系统的设计提供指导。

LLM能否胜任CEO？基于多角色智能体模拟的战略资源重新配置基准测试

Yuyang Dai1 和 Xueqing Peng2 和 Lingfei Qian2 和 Zhuohan Xie1
1MBZUAI
2耶鲁大学

## 1 引言

大型语言模型（LLM）迅速拓展了人工智能的前沿，在推理、战略规划和自主智能体行为方面展现出日益强大的能力（Park et al., 2023; Yang et al., 2024）。近期工作探索了LLM在博弈论环境中的战略推理（Lorè and Heydari, 2023; Zhang et al., 2024; Wang et al., 2026）、不确定性下的经济决策（Raman et al., 2024; Fish et al., 2025），以及参与协作、辩论和谈判以实现集体结果的多智能体系统（Guo et al., 2024; Sun et al., 2025）。然而，现有评估主要聚焦于孤立推理任务或程式化交互，留下了一个更困难的问题：LLM智能体能否处理需要整合冲突利益相关者利益、不完整信息和动态组织约束的高管级战略决策？

我们认为，CEO级别的资源重新配置为压力测试这一边界提供了理想测试平台。CEO级别的资源重新配置：跨业务部门重新分配资本、人才和组织注意力，是企业战略中杠杆作用最高的决策之一。麦肯锡对1600家公司的纵向分析表明，在十年内将超过50%的资本支出跨业务部门重新配置的公司，与不太活跃的公司相比创造了显著更多价值（Atsmon, 2016; Hall et al., 2012）。关键是，这些决策的难度不仅在于分析层面，更在于组织层面。CEO必须整合来自职能高管的冲突建议：CFO强调财务风险，CTO倡导研发投资，COO优先考虑运营连续性，CMO关注市场机会，每个高管都拥有不对称信息和不同激励（Eisenhardt and Zbaracki, 1992; Stein, 1997）。Mintzberg等人（1975）将管理工作描述为将碎片化信息流综合成连贯行动，后续研究认为，这种跨职能冲突下的整合判断是有效高管决策的核心特征（Barnard, 1968; March and Simon, 1993; Burgelman, 1983）。

尽管LLM评估取得了快速进展，但现有基准测试并未系统性地测试此类组织决策能力。当前范式主要评估孤立技能，如事实知识、数学推理、代码生成或在程式化环境中的经济理性（Raman et al., 2024; Fish et al., 2025）。角色扮演基准测试评估LLM在对话中是否保持角色一致性（Wang et al., 2024; Yuan et al., 2025; Wang et al., 2025），但不评估角色条件智能体是否产生功能上有区别的建议，供决策者调和。类似地，多智能体研究探索了辩论、社会模拟和合作问题解决（Park et al., 2023; Guo et al., 2024），然而这些设置通常缺乏定义真实组织决策的层级权威结构、不对称信息和时间依赖。虽然近期工作已开始探索LLM在战略环境中的表现（Allen and McDonald, 2026; Stoeber et al., 2026），但LLM智能体能否在跨职能冲突下执行整合性高管判断的问题仍未解决。

本文通过引入CEO-Bench填补这一空白，这是一个多智能体基准测试，用于评估LLM在跨职能冲突和不对称信息下的CEO级别资源重新配置决策。在CEO-Bench中，LLM智能体扮演CEO和四位C级高管（CFO、CTO、COO和CMO）的角色，每位高管拥有不同的优先级和角色特定信息。CEO智能体必须将这些冲突建议整合成资源分配决策，并跨越多个回合，面对不断变化的组织和市场条件。

我们的贡献有三个方面。

❍ 我们引入CEO-Bench，这是首个用于评估多角色组织环境中整合性高管决策的基准测试。

❍ 我们提出一个多维度评估框架，衡量角色整合、战略大胆度校准和时间连贯性，超越单一分数准确度指标。

❍ 我们对前沿LLM进行实验，刻画组织决策智能体的关键失败模式，包括过度寻求共识、对情境不敏感的大胆度以及历史不一致性。

## 2 相关工作

表1：与先前工作的比较。✓ = 完全覆盖；❍ = 部分覆盖；✗ = 未覆盖。MR：具有不对称信息的多角色功能分化。HI：冲突下的层级整合。BC：根据情境校准大胆度。TR：多轮时间连贯性。OG：基于组织决策理论。

### 2.1 高管决策与资源分配

高管决策长期以来被研究为在不确定性下整合碎片化且常冲突信息的问题。组织理论将CEO描述为信息、人际和决策过程的协调者，而非纯粹的分析优化者（Barnard, 1968; Mintzberg and others, 1975; March and Simon, 1993）。近期研究确定，大胆且及时的资源配置是长期公司绩效的最强预测因素之一（Dewar et al., 2022; Hall et al., 2012; Atsmon, 2016）。金融领域的补充研究表明，内部资本配置发生在不对称信息、竞争性激励以及寻租和代理问题等组织摩擦之下（Stein, 1997; Rajan et al., 2000; Ozbas and Scharfstein, 2010）。综合来看，这些文献表明，CEO级别的资源重新配置需要两种在现有LLM评估中基本缺失的能力：整合来自拥有私有信息的专业顾问的冲突建议，以及在不断变化的组织条件下随时间校准战略大胆度（Eisenhardt and Zbaracki, 1992; Boudreaux and Holcombe, 1989）。

### 2.2 基于LLM的多智能体系统与角色扮演

近期工作越来越多地探索LLM作为自治和多智能体系统。先前研究表明，智能体间交互、辩论和自我反思可以改善推理和协调质量，优于单智能体基线（Park et al., 2023; Du et al., 2024）。并行工作研究了LLM角色扮演，评估智能体是否能在多轮交互中保持一致的人设、价值观和对话行为（Wang et al., 2024; Yuan et al., 2025; Wang et al., 2025）。然而，这些基准测试主要评估人设一致性，而非功能分化和整合决策质量——例如，角色条件智能体是否产生实质不同的建议，以及更高级别的智能体能否有效调和这些建议。现有关于基于LLM的多智能体系统的综述同样将协调、评估和时间连贯性识别为开放挑战，同时指出涉及层级权威、不对称信息和持续组织决策的基准测试的稀缺性（Guo et al., 2024; Sun et al., 2025）。

### 2.3 战略推理与经济决策基准测试

越来越多的文献评估LLM在事实回忆和逻辑推理之外的战略和经济决策能力。先前工作研究了LLM在博弈论环境、谈判、序列规划和经济理性中的行为，揭示了新兴战略能力和系统性失败，如过度合作、不一致的风险态度和薄弱对手建模（Lorè and Heydari, 2023; Zhang et al., 2024; Wang et al., 2026; Zhang et al., 2026; Raman et al., 2024; Fish et al., 2025）。与我们工作最接近的是，近期面向战略的基准测试表明，前沿模型可以生成连贯的商业战略，但在动态适应、竞争响应和差异化战略定位方面存在困难（Allen and McDonald, 2026; Stoeber et al., 2026）。然而，这些评估主要仍是单智能体或低维度的，缺乏真实高管决策所需的多角色层级、不对称信息和整合性组织判断。

## 3 CEO-Bench：基准测试设计

本节描述CEO-Bench的设计，这是一个用于评估LLM智能体在CEO级别资源重新配置决策能力的基准测试。我们介绍任务定义（§3.1）、角色条件智能体架构（§3.2）、场景构建（§3.3）和评估指标（§3.4）。

### 3.1 任务定义

CEO-Bench围绕一个多业务部门公司中的资源重新配置决策任务展开。在每个场景中，智能体扮演一家拥有多个业务部门公司的CEO，这些部门在增长前景、执行风险和战略角色上存在差异。CEO的目标是生成一个跨部门的重新配置方案，将资本从一个部门转移到其他部门，并受组织和财务约束。每个基准测试实例由一对（company_id, target_date）唯一标识。在每个决策步骤，CEO接收结构化信息，包括：(i) 公司级财务和战略状态，(ii) 业务部门级绩效和吸收能力，(iii) 重新配置约束，(iv) 来自四位C级顾问的角色条件建议，以及 (v) 截至当前日期的历史分配决策。CEO输出一个结构化的分配方案，表示为跨业务部门的资源份额重新分配，包括：

❑ 资源被移出的部门集合（来源），

❑ 资源被添加的部门集合（目标），

❑ 总重新配置份额（转移幅度），

❑ 决策类型标签（例如，保守、中等或大胆），以及

❑ 解释如何整合冲突高管建议的理由。

关键是，行为空间是连续的而非离散的：CEO不从未知选项中选择，而是必须在组织和财务约束下构建一个战略上合适的分配方案。该基准测试进一步设计为多轮决策问题，其中先前的分配影响未来的组织状态，从而能够评估单步决策质量和随时间推移的历史敏感战略一致性。

### 3.2 智能体架构

CEO-Bench采用角色条件多视图决策架构，包含五个高管角色：CEO、CFO、CTO、COO和CMO（表2）。四个非CEO角色作为职能顾问，拥有不同的优先级、约束和私有信息。这一设计反映了组织理论所识别的核心管理挑战：高管判断需要在竞争性职能逻辑下进行整合，而非孤立的分析优化（Mintzberg and others, 1975; Barnard, 1968; March and Simon, 1993）。