OrchSLM: 探析小型语言模型编排的动态特性

# OrchSLM：探究小型语言模型编排的动态过程
来源：https://arxiv.org/html/2609.13470  
Chengxi Zhang††贡献平等；排序由抛硬币决定\.Yu Yao11脚注标记：1单位：麻省理工学院 邮箱：[yu\_yao@mit\.edu](mailto:)

###### 摘要

尽管大型语言模型（LLMs）展现了卓越的能力，但其依赖于云规模基础设施的特性给在智能体（agentic）管道中的部署带来了根本性挑战，包括延迟、隐私、连接性以及高昂的计算成本。小型语言模型（SLMs）提供了一种引人注目的替代方案：近期研究表明，在智能体工作负载中，许多重复且范围狭窄的子任务可能由专门的SLMs处理比由单一LLMs处理更为高效。然而，SLMs有限的能力和上下文窗口可能制约了长时程推理和重交互的编排策略，如迭代验证和辩论。这促使了一种互补的、非交互范式的发展：异构SLMs独立生成候选解，路由器（router）通过缓存的样本来编排它们，无需进一步的模型交互。为了进一步理解此类编排的机制，我们引入了OrchSLM，一个统一现有非交互编排方法并将底层设计选择暴露为可控参数的路由框架。以OrchSLM为系统性探针，我们揭示了编排行为如何由多种旋钮共同产生，包括任务结构、模型池组成以及多智能体共识。

### 1 引言

大型语言模型在推理、编码、工具使用以及日益复杂的智能体任务方面取得了显著进展（OpenAI, 2023 (https://arxiv.org/html/2609.13470#bib.bib8)；Touvron et al., 2023 (https://arxiv.org/html/2609.13470#bib.bib9)；Grattafiori et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib10)；DeepSeek\-AI, 2025 (https://arxiv.org/html/2609.13470#bib.bib11)；Snell et al., 2024b (https://arxiv.org/html/2609.13470#bib.bib36)）。扩展模型容量和推理时计算能力进一步提升了解决难题的能力（Kaplan et al., 2020 (https://arxiv.org/html/2609.13470#bib.bib3)；Hoffmann et al., 2022 (https://arxiv.org/html/2609.13470#bib.bib4)；Lightman et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib5)；Brown et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib6)；Snell et al., 2024a (https://arxiv.org/html/2609.13470#bib.bib7)）。然而，这些能力伴随着巨大的计算和部署成本，尤其是当语言模型必须作为智能体管道的组件被反复调用时。作为一种替代方案，小型语言模型正日益成为低成本、可部署且异构的推理引擎（Wang et al., 2024a (https://arxiv.org/html/2609.13470#bib.bib31)；Belcak et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib44)）。其适中的计算足迹使得在推理时查询多个模型成为可能，从而将一组SLMs视为一个互补专家库成为可能。然而，大多数为大型语言模型开发的编排策略严重依赖于交互：模型交换自然语言消息、批判中间解决方案、综合彼此的响应，或在做出最终决策之前验证候选答案（Wang et al., 2024b (https://arxiv.org/html/2609.13470#bib.bib34)；Du et al., 2023 (https://arxiv.org/html/2609.13470#bib.bib32)；Lifshitz et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib33)）。对于SLMs而言，这种交互的成本相对于模型本身而言可能较高，并且依赖于仍然有限的深思熟虑和自我纠正能力（Taubenfeld et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib47)；Huang et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib48)；Liu et al., 2023 (https://arxiv.org/html/2609.13470#bib.bib49)；Fu et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib50)）。

这催生了一种互补的、非交互的111我们使用“非交互”来表示模型之间不通信，也不根据其他模型的输出调整其生成内容。每个模型独立生成，跨模型信息仅由路由器在生成后组合，无需为模型间通信消耗额外的上下文令牌。设定：每个模型独立生成一组缓存样本，最终答案通过在推理时组合所得的答案分布获得。尽管如此简单，对这种非交互编排的系统性理解仍然未知。现有方法对什么构成有用证据做出了根本不同的隐式假设。查询级路由器和级联在生成前选择模型，通常基于预测的专业性、成本或偏好（Chen et al., 2023 (https://arxiv.org/html/2609.13470#bib.bib39)；Ong et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib30)；Chen et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib46)）。投票方法则将独立生成的答案之间的一致性视为证据（Wang et al., 2023 (https://arxiv.org/html/2609.13470#bib.bib13)；Li et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib35)）。路由风格（Routing-style）的路由则估计模型内一致性，并倾向于支持那些反复支持相同预测的答案（Wang et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib1)）。这些方法揭示了不同的信号（专业性、自一致性和相互一致性），但通过不同的路由规则将它们纠缠在一起。

理解这些信号很重要，因为每个信号在一种情况下可能具有信息量，而在另一种情况下则可能产生误导。一个强大的专家可能提供可靠的默认答案，但专家选择会丢弃来自库中其他模型的佐证证据。多数一致性可以揭示共享的证据，但一组较弱的模型可能强化相同的似是而非的错误（Li et al., 2024 (https://arxiv.org/html/2609.13470#bib.bib35)；Wang et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib1)）。高自一致性可能表示信心，但它也可能来自于一个反复犯相同错误的模型（Wang et al., 2023 (https://arxiv.org/html/2609.13470#bib.bib13)；Wang et al., 2025 (https://arxiv.org/html/2609.13470#bib.bib1)）。即使是模型池的组成也会引入一个非平凡的权衡：增加另一个模型可能提高某个模型产生正确答案的概率，但同时也会引入额外的错误支持，使得正确答案更难被识别。因此，编排质量并非仅由可用模型数量或一致程度决定，而是由专业性、一致性以及池组成如何与任务结构相互作用所决定。这引出了我们工作的核心问题：**什么决定了小型语言模型编排的动态过程？** 我们不是寻找单一的普遍最优路由器，而是试图分离出决定异构SLMs何时互补、集体一致何时提供有用证据、以及添加更多模型何时反而使路由更困难的机制。

为了系统地探究这些权衡，我们沿着三个研究轴分解非交互多SLM编排：（1）**我们应该信任谁？** 权威应如何在模型间分配？（2）**证据应如何结合？** 多个信念应如何形成集体决策？（3）**一致性何时重要？** 共识何时能提供超越个体信心的证据？现有的路由方法在这些维度上做出了不同的隐式选择。多数投票（Majority voting）平等加权模型，累积库内的支持，并依赖相互一致性。最佳单模型（Single-best）路由将所有信任赋予一个固定的专家。路由器风格（Router-style）倾向于表现出最强自一致性的模型，而跨支持（Cross-support）则将其他模型分配给候选答案的概率质量视为特定于问题的证据。我们将这些选择明确化为可控轴，允许在共同的设计空间内研究现有路由器及其变体。

我们将此设计空间实例化为一个广义路由族，其中常见的编排方法作为精确的参数设置出现，并用其作为编排动态的受控探针。在MATH\-500、GSM8K、GPQA和MMLU\-Pro数据集上，使用异构模型池，我们的系统性分析揭示了多SLM编排的不同动态：有效的路由源于任务结构、模型专业性、池组成和一致性模式之间的相互作用，而非来自任何单一的证据来源。

**贡献**。（1）我们将非交互多SLM编排公式化为一个受控设计空间，围绕三个耦合机制组织：**信任谁**、**如何聚合证据**以及**何种形式的一致性构成置信度**。（2）我们引入了**OrchSLM**，一个广义路由族，将这些机制暴露为可控轴，并恢复了多数投票、自一致性路由、跨支持、专家加权路由和最佳单模型极限作为共同框架内的特定配置。（3）我们使用**OrchSLM**系统地探究跨任务和模型池的多SLM编排动态。我们的实验揭示了专业性、一致性和池组成如何共同决定路由行为，包括**预言机覆盖率**（oracle coverage）与**可路由支持**（routable support）之间存在的持续差距：更多模型可以使正确答案可用，但不一定使其更易被识别。

### 2 基础知识与方法学

图 1：不同的路由器可以从相同的缓存输出中选择不同的答案。**动机**。编排是一个集体决策问题（Arrow, 1951 (https://arxiv.org/html/2609.13470#bib.bib2)）：给定多个不完美且异构的推理器，应如何将它们各自的信念转化为集体判断？更多的声音不一定意味着更多的知识，一致性不一定意味着真理，专业性也不一定意味着在每个实例上都正确。因此，挑战不仅在于组合模型输出，还在于确定何时个体权威应占上风，何时证据应累积，以及何时一致性应被信任。我们通过三个基本问题研究这个问题：**我们应该信任谁？** 模型在专业性上存在差异，这在民主聚合与专家权威之间引发了张力。**证据应如何结合？** 支持的强度可能源于许多独立来源的累积，或源于某个特别可靠来源的信念。**一致性何时重要？** 重复的信念可以反映真实的信心，但共识也可能放大共同的错误；因此，其价值取决于谁在同意以及他们的证据是如何形成的。这些问题揭示了多SLM编排背后的三个不同但耦合的机制：**信任**、**聚合**和**一致性**。我们接下来将它们形式化为广义路由族的可控轴，使得不同的编排策略可以在共同框架内被研究。

#### 2.1 编排评估

集体证据应如何转化为决策，而谁的证据实际上塑造了这一决策？我们通过这两个互补的视角评估编排。第一个涉及**决策**：我们形式化信任、聚合和一致性如何决定选择哪个答案。第二个涉及**影响力**：我们区分被路由器“听到”的模型和其实际存在能改善决策的模型。这两种视角共同不仅刻画了编排系统决定的内容，还刻画了这一集体决策是如何产生的。更多推导和实现细节见附录 §A (https://arxiv.org/html/2609.13470#A1)。

**从样本到信念**。对于一个问题 \(x\)，每个模型 \(i\) 独立生成 \(K\) 个样本。经过答案提取和归一化后，这些样本诱导出候选答案上的经验分布：
\[
P_{ia}(x) = \frac{1}{K} \sum_{k=1}^{K} \mathbf{1}[y_{ik} = a] . \tag{1}
\]
这里，\(P_{ia}(x)\) 代表模型 \(i\) 分配给答案 \(a\) 的经验支持度。令 \(a_i^\star = \arg\max_a P_{ia}(x)\) 表示模型 \(i\) 最频繁的答案（平局情况确定性地打破），并定义 \(M_{ia} = \mathbf{1}[a = a_i^\star]\)。因此，\(P_{ia}\) 捕获了模型的完整答案分布，而 \(M_{ia}\) 标识了其自身信念最集中的那个答案。

表 2：常见路由器映射到广义族中的 \((\alpha, \kappa, \mathrm{Agg})\)。图 2：现有路由器作为 \((\alpha, \kappa, \mathrm{Agg})\) 广义族的固定角落；轴的定义见第2.1节 (https://arxiv.org/html/2609.13470#S2.SS1)。**信任**：谁的证据应该被计入？模型不一定同样可靠。令 \(\mathrm{acc}_i\) 表示模型 \(i\) 的专家先验，可以从验证集分割估计或作为固定的先验分数提供。我们将这些先验转换为归一化的信任权重：
\[
r_i(\kappa) = \frac{\max(\mathrm{acc}_i, \epsilon)^\kappa}{\sum_j \max(\mathrm{acc}_j, \epsilon)^\kappa} . \tag{2}
\]
参数 \(\kappa\) 决定了权威在模型池中的集中程度。当 \(\kappa = 0\) 时，每个模型获得相等的权重，对应于专业性的民主先验。随着 \(\kappa\) 增加，权威向具有更强先验性能的模型转移；在极限 \(\kappa \rightarrow \infty\) 时，它集中到验证集最佳的模型上。因此，\(\kappa\) 在集体平等与专家权威之间连续插值。

**聚合与一致性**：证据应如何结合？对于每个候选答案 \(a\)，我们定义路由分数：
\[
W(a) = \alpha \, \mathrm{Agg}_{i}\left[ M_{ia} r_i(\kappa) P_{ia}(x) \right] + (1 - \alpha) \sum_{i} r_i(\kappa) P_{ia}(x), \tag{3}
\]
并选择 \(\hat{a} = \arg\max_a W(a)\)。这里，\(\mathrm{Agg}\) 控制证据在模型间如何结合：求和（Sum）累积多个模型的支持，而取最大值（Max）保留最强的支持者。参数 \(\alpha\) 控制一致性的形式，在支持每个模型偏好的答案与其完整答案分布的支持总量之间进行插值。总之，\((\kappa, \mathrm{Agg}, \alpha)\) 指定了信任谁、如何结合他们的证据以及使用何种形式的一致性。

**影响力**：被“听到”与有帮助。路由分数决定了选择哪个答案，但并未告诉我们每个模型是否帮助使该选择正确。因此，我们通过归因（attribution）和贡献（contribution）来衡量模型的影响力。

对于数据集 \(D\)，令 \(\hat{a}_t\) 为问题 \(t\) 的路由答案。我们将模型 \(i\) 的归因定义为：
\[
\mathrm{Atr}(i) = \frac{1}{|D|} \sum_{t \in D} P^{(t)}_{i, \hat{a}_t} . \tag{4}
\]
\(\mathrm{Atr}\) 衡量一个模型对路由器所选答案的支持强度。高 \(\mathrm{Atr}\) 的模型经常被“听到”，但其支持不一定能提高准确率。

为衡量一个模型是否有帮助，我们将其移除并重新运行路由器。我们将其反事实贡献定义为：
\[
\mathrm{Ctr}(i) = \mathrm{Acc}(\text{full pool}) - \mathrm{Acc}(\text{pool without } i) . \tag{5}
\]