模块化AI系统中的参与扩展

# 扩展模块化AI系统中的参与规模

来源：https://arxiv.org/html/2606.07812

\[1\]\\fnm尚斌\\sur冯

1\]\\orgname华盛顿大学,\\orgaddress\\city西雅图,\\stateWA,\\country美国

2\]\\orgname斯坦福大学,\\orgaddress\\city斯坦福,\\stateCA,\\country美国

\\fnm以可\\sur王\\fnm维嘉\\sur施\\fnmLuke\\surZettlemoyer\\fnm叶金\\sur崔\\fnm尤莉娅\\sur茨维特科夫\[\[

###### 摘要

人类是由多才多艺的天赋和需求构成的马赛克，任何真正智能的AI都必须反映这种丰富性。然而，所有人使用的LLM却由少数人构建——这是一个由单体AI模型构成的集中化市场，其结构天生不适合捕捉人类知识、推理和价值观的多样性。本文提出*扩展参与*这一新范式，其中*模块化*AI系统通过多样化利益相关者的贡献自下而上构建。参与者贡献基于自身兴趣和优先级训练的小模型；这些模型随后在模块化框架中作为组合AI系统进行协作。参与式AI系统在15项任务（如推理和事实性）上表现优于单体LLM高达15.4%，超越了所有贡献组件合并后更大的模型。进一步实验表明，参与式AI系统受益于贡献者的多样性，显著改善了每位贡献者原有的优先事项，并展现出涌现能力，能够解决超过15%的单个模型都失败的难题。扩展参与为从单体现状向开放、自下而上、协作的AI未来过渡提供了技术基础。

###### 关键词：

大型语言模型，参与式AI，模型协作

## 1 引言

随着AI与社会制度日益深度融合——指导政策[ingsrams2022ai]、教育[aieducation2023]、医疗健康[chinta2025ai]、经济[bughin2018notes]、科学[asai2026synthesizing,lu2026towards]甚至战争[anthropic2026]等领域的决策——AI满足社会多元化需求变得至关重要。但如今，AI的承诺和力量集中在少数私营公司手中，体现为在秘密中开发的黑箱式、单体模型。这使得民主合法性难以维持，因为不透明的模型侵蚀公众信任，而基于有偏差数据和基准开发的单体系统无法可信地声称代表并公平服务所有公民[sorensenposition,feng2025one]。如果这些AI系统要调解影响每个人的决策，它们必须接受公众审视，并通过更广泛的参与来塑造。本文推进了一种古老民主理想的新技术表达：所有人都应有权对治理他们的权力如何行使发表意见。

我们提出一种新方法：构建模块化、参与式AI系统，以反映其所服务利益相关者的多样性。我们开发了一个框架，其中许多大小模型通过明确的协调算法进行协作（图1）。它是模块化的，因为智能由交互组件构成，而非压缩进一个模型。它是参与式的，因为组件模型和管理其协作的机制可以由广泛的利益相关者贡献。该框架设定了两个实际目标。第一个是开发协作方法，结合多样化模型的优势，产生比任何单个贡献者或单体前沿模型都更强的结果。第二个是扩展参与本身，使许多利益相关者能贡献基于自身知识和优先级的模型，从而让整个系统能够针对特定人群、领域和目标进行有针对性的增强。

参考图标题图1：AI开发的四种范式概览。1) 单个稠密LLM的开发不涉及模块化或参与：它们采用单体神经架构，完全由单一组织开发。2) 混合专家LLM采用模块化模型架构，但所有模块组件仍然由单一实体单独开发。3) 像Marin[marin2025]这样的倡议在模型训练流程中采取参与式方法，但所有努力最终合并为一个单体模型。4) 我们的工作独特地倡导参与式AI，特别是在模块化AI系统中扩展参与：参与者贡献专用语言模型，自下而上构建模块化系统，使多样化利益相关者能在未来自下而上的AI开发范式中拥有发言权。我们将模块化参与式AI付诸实践，通过征集作为学术研究工件发布的语言模型（LM）——这些模型设计有不同的架构、在不同领域训练，并代表全球范围内超越商业利益的多样化研究议程和优先级。借助从去中心化贡献者处获得的61个LM，我们扩展了多样化模型协作系统，其中多达32个LM作为组合AI系统进行协作、组合和互补。具体来说，这些模型在14个协作系统（如路由[ongroutellm,fenggraphrouter]、多智能体辩论[du2023improving,jiangsparta]和模型融合[yadav2023ties,yu2024language]）中充当模块化组件，利用这些多样化贡献构建自下而上的参与式AI系统。

大量实验表明，成功的参与式AI系统在QA、推理、知识、安全和指令遵循任务中，性能优于非模块化和/或非参与式LLM——有些甚至比32个贡献LM的总和还要大——高达15.4%。进一步分析表明，参与式AI在代表人类多样性方面具有独特优势，受益于贡献模型池的多样性，能解决参与LM各自难以应对的问题，并持续改进模型贡献者的原始优先级和用例。总体而言，扩展参与提升了AI能力，并创造了更透明、更多元、更易于更新、更便宜重用、更能显示输出来源及其责任方的系统。从集中式孤岛转向参与式马赛克，在模块化AI中扩展参与为构建最先进的AI系统提供了新范式，也为更开放、民主化、自下而上、协作的AI未来奠定了技术基础。

## 2 方法

我们提出通过两步扩展模块化AI系统中的参与：1) 征求参与，征集在野外训练的专用语言模型作为模块化构建块；2) 编排参与，利用这些模型和多样化模型协作算法构建自下而上的组合AI系统。

征求参与我们以作为学术研究工件训练的语言模型为原型，构建参与式AI：这些模型通常具有专长，并代表全球AI研究议程中的多样化优先级。具体来说，为了策划一个语言模型池，我们联系从事语言模型和自然语言处理研究的学术实验室，请求他们提交在研究过程中训练的模型。我们专门使用图2中的表单来告知贡献者我们的目标，收集其模型和研究信息。通过联系全球236名研究人员，我们策划了61个模型的池：这些模型的协作将能够构建由多样化利益相关者贡献支撑的自下而上、组合式AI系统。

参考图标题图2：征求参与。我们用来向全球学者征求参与的表单，询问他们为多样化AI主题训练并发布的语言模型。我们继续在https://yikee.github.io/open-model-collaboration/收集回复。编排参与我们采用广泛的模型协作算法来原型化参与式AI，其中由多样化利益相关者训练的模型进行协作、组合和互补。具体而言，我们在语言模型间三种信息交换级别上采用了14个协作系统。[feng2025one]我们在附录B中提供了每种协作算法的详细信息。

对于*API级协作*，以候选模型间的路由和选择为特征：

- •提示路由 给定用户指令，我们提示一个LLM根据参与者提供的模型描述选择最合适的候选模型。
- •训练路由器 我们在开发集上评估所有候选模型，并为每条指令确定最佳模型。然后训练一个因果语言模型来学习预测每条指令的最佳模型。在推理时，训练后的路由器模型根据其预测动态地将指令分配给候选模型。[ongroutellm]
- •图路由 类似于训练路由器，但使用图神经网络作为路由预测的神经架构，特别是通过在任务-指令-模型网络上进行表示学习。[fenggraphrouter]
- •开关生成 我们不是选择一个模型来生成完整响应，而是训练一个切换器模型来管理多个候选模型如何在生成完整响应的过程中轮流生成文本片段，在特定模型的技能和优势最需要时进行切换。[feng2025don]

对于*文本级协作*，以模型间生成文本的交换为特征：

- •多智能体精炼 每个候选模型首先生成独立响应，然后基于其他模型的响应精炼其响应。经过几次迭代后，指示一个LLM总结最后一次迭代中所有模型的响应。[du2023improving]
- •多智能体微调 这是多智能体精炼的一种基于训练的增强，在迭代过程中生成生成和批评数据集来微调候选模型。在推理时，微调和适配后的模型生成响应并通过多数投票进行聚合。[subramaniammultiagent]
- •LLM Blender 所有候选模型首先生成独立响应，然后我们训练一个排序LLM对响应进行排序，并训练一个融合LLM将前k个响应聚合为最终响应。[jiang2023llm]
- •AggLM 一个聚合LLM通过带有可验证奖励的强化学习进行训练，以平衡多数投票成功的"简单"案例和需要恢复少数答案的"困难"案例。在推理时，所有候选模型生成独立响应，并由聚合LLM处理以产生最终响应。[zhao2025majority]
- •Sparta对齐 两个候选模型进入指令遵循竞赛，其他候选模型评估它们的响应。胜出模型将获得声誉提升，反之亦然，模型的声誉指示了在评估其他模型响应时其判断的权重。所有模型都通过偏好优化，在集体判断中获得的（胜出响应，失败响应）对上进行训练。[jiangsparta]
- •异构群体 我们在一个有向无环图（DAG）中编排多个候选模型，其中一个模型的输出根据有向边成为另一个模型输入的一部分。我们维护一个包含k个DAG的种群，并采用连续邻接矩阵上的粒子优化来优化基于图的协作结构。[fengheterogeneous]

对于*权重级协作*，以模型参数的算术和搜索为特征：

- •Dare-Ties Dare-Ties是两种流行模型合并技术的结合，专注于多个模型参数值的剪枝和符号共识。[yadav2023ties,yu2024language]
- •贪心汤 我们首先在开发集上评估所有候选模型，并按性能降序排列。从最佳模型开始，我们迭代地将下一个模型添加到"汤"（当前正在考虑的模型池）中，平均汤中模型的权重，并在开发集上评估合并后的模型。如果性能相比之前的最佳模型有所提升，则保留该模型，然后继续处理下一个模型。[wortsman2022model]
- •权重外推（ExPO） 我们在开发集上评估模型，选择性能最佳的前k个和最差的k个模型，并通过公式 x_expo = x_top-k + α(x_top-k - x_bottom-k) 将其参数外推成一个新模型。[zheng2024weak]
- •模型群体 多个候选模型协作在模型参数空间中搜索以提升开发集性能，优化通过粒子群优化实例化，将模型池视为种群。[feng2025model]

请注意，权重级协作通常要求参与模型共享相同的模型架构：我们采取额外步骤，对贡献模型进行知识蒸馏[kim2016sequence]到相同架构，以便统一权重级方法的模型架构，同时保留参与模型的专长。

总之，我们使用了从全球多样化学术研究中获取的61个模型和14种协作算法，用于自下而上、组合式AI系统。据我们所知，这项工作是在AI开发中首次尝试模块化和参与式方法。

## 3 实验设置

数据和评估我们在5个领域共计15个任务上评估模型和系统：通用问答（*AGIEval*[zhong2024agieval]、*ARC-challenge*[clark2018think]、*MMLU-redux*[gema2025we]）、推理（*BigBench-Hard*[suzgun2023challenging]、*GSM8k*[cobbe2021training]、*MATH*[hendrycks2021measuring]、*Sciriff*[wadden2025sciriff]）、知识（*WikiDYK*[zhang2025bidirectional]、*PopQA*[mallen2023not]、*BLEND*[myung2024blend]）、安全（*TruthfulQA*[lin2022truthfulqa]、*CocoNot*[brahman2024art]）和指令遵循（*AlpacaEval*[dubois2023alpacafarm]、*Wildchat*[zhaowildchat]、*Human Interest*[feng2025model]）。对于每个任务，我们创建一个用于模型选择的保留集，以及用于评估的开发集和测试集。我们报告每个领域任务的宏平均性能。

模型与实现我们首先在跨任务的混合保留集上评估由多样化学者贡献的61个模型（第2节）。由于我们的目标是将协作系统扩展到32个模型，我们默认保留前32个模型作为池，同时使用其他模型进行进一步分析。为了运行通常要求模型共享相同架构的权重级协作，我们使用知识蒸馏，将32个模型中的每一个作为教师模型，Qwen-2.5-7B作为学生模型，从而获得代表贡献模型的蒸馏模型。然后，我们使用池中的前2、4、8、16和32个模型构建模型协作系统：我们特别使用MoCo[feng2026moco]，这是一个一站式库，用于执行包括第2节中14个框架在内的多样化模型协作协议。

基线我们将自下而上、协作式AI系统与非模块化和非参与式基线进行比较。由于贡献模型训练的中位数年份