结合语言模型何时有益？——路由、投票与多智能体混合在67个前沿模型中的共失败上限

Hugging Face Daily Papers 论文
multi-model-systems ensemble-methods co-failure-analysis language-models routing voting mixture-of-agents

摘要

本文揭示了多模型LLM系统的一个基本约束：准确率受制于所有模型在同一查询上同时出错的比率。在67个前沿模型中，常见指标显著低估了全错率，从而限制了投票、路由和集成策略的收益。

多模型LLM系统，如路由、投票、级联、融合和多智能体混合，用于超越单模型准确率。我们证明，其收益受制于一个领域鲜少报告的指标。对于输出为某个成员模型回答的任何策略，准确率不能超过1减去beta，其中beta是所有模型在同一查询上同时出错的比率。相比之下，常用的诊断指标——平均成对错误相关性rho——无法识别beta：具有相同边际分布和成对相关性的错误律可能具有不同的全错率。beta的Clopper-Pearson界给出了在训练路由器之前，任何路由器、投票或级联所能带来的最大收益的有限样本保证。 在来自21家提供商的67个模型中，经四分相关校准的单因子模型仍然低估了全错尾部：在开放式数学问题上，观测到的beta为0.052，而在完整的67模型高斯连接函数下为0.023，低估约2.5倍，90%置信区间为1.7至3.4，k等于17。该效应在基于执行评分的代码任务上重复出现，beta为0.079。将同样的GPQA-Diamond问题以自由回答而非多项选择形式重新提问，重新打开了尾部，beta为0.127，由五名评审员组成的评审组kappa值为0.73至0.92，表明共失败源于回答格式而非主题。在质量匹配的情况下，低rho异质集成优于高rho Self-MoA，但在我们数据集中的可核查任务上，若无强查询级路由信号，组合模型很少能超越单一最佳模型。收益源于模型在不同问题上失败，而非增加模型数量。
查看原文
查看缓存全文

缓存时间: 2026/06/26 14:07

论文页面 - 何时组合语言模型能提升性能？基于67个前沿模型的共失效上限路由、投票与混合代理研究

来源：https://huggingface.co/papers/2606.27288

摘要

多模型系统面临由所有模型在同一查询上同时出错的频率所决定的根本准确率上限，这一上限与各模型间的个体相关性或集成策略无关。

多模型LLM系统（https://huggingface.co/papers?q=Multi-model%20LLM%20systems），如路由（https://huggingface.co/papers?q=routing）、投票（https://huggingface.co/papers?q=voting）、级联（https://huggingface.co/papers?q=cascades）、融合（https://huggingface.co/papers?q=fusion）和混合代理（https://huggingface.co/papers?q=mixture-of-agents），被用于超越单模型准确率（https://huggingface.co/papers?q=accuracy）。我们指出其增益受限于领域内极少报告的一个量。对于输出为某个成员模型答案的任何策略，准确率（https://huggingface.co/papers?q=accuracy）不能超过一减去 beta（https://huggingface.co/papers?q=beta），其中 beta（https://huggingface.co/papers?q=beta）是所有模型在同一查询上同时出错的比率。相比之下，常用的诊断指标——平均成对误差相关性（https://huggingface.co/papers?q=error%20correlation）ρ——无法识别 beta（https://huggingface.co/papers?q=beta）：具有相同边际分布和成对相关性的误差分布可能具有不同的全错率。基于 beta（https://huggingface.co/papers?q=beta）的克洛珀-皮尔逊界限（https://huggingface.co/papers?q=Clopper-Pearson%20bound）在训练路由器之前，为任何路由器、投票或级联所能实现的最大增益提供了有限样本保证。在来自21家提供商的67个模型中，一个经四叉相关校准的单因子模型仍然低估了全错尾部的严重性：在开放式数学问题中，观察到的 beta（https://huggingface.co/papers?q=beta）为0.052，而在完整的67模型高斯连接函数（https://huggingface.co/papers?q=Gaussian%20copula）下仅为0.023，低估了约2.5倍，90%置信区间为1.7至3.4，k值为17。这一效应在执行评分的代码任务中再次出现，beta（https://huggingface.co/papers?q=beta）为0.079。将同样的GPQA-Diamond（https://huggingface.co/papers?q=GPQA-Diamond）问题以自由回答而非多项选择的形式重新提问，会重新暴露尾部问题，beta（https://huggingface.co/papers?q=beta）达到0.127，并由一个k值为0.73至0.92的五人评审小组进行判断，将共失效定位于答案格式而非主题。在质量相当的情况下，低ρ的异质集成（https://huggingface.co/papers?q=heterogeneous%20ensembles）优于高ρ的Self-MoA（https://huggingface.co/papers?q=Self-MoA），但在我们池中的可检验任务上，若无强大的查询级路由（https://huggingface.co/papers?q=routing）信号，组合模型很少能超越单个最佳模型。增益来自于模型在不同问题上失败，而非增加更多模型。

查看arXiv页面（https://arxiv.org/abs/2606.27288）查看PDF（https://arxiv.org/pdf/2606.27288）项目页面（https://huggingface.co/spaces/josefchen/orchestration-is-allocation）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.27288）

在你的代理中获取此论文：

hf papers read 2606\.27288

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.27288 以从此页面链接。

引用此论文的数据集1

josefchen/co-failure-67-models 更新于约4小时前（https://huggingface.co/datasets/josefchen/co-failure-67-models）

引用此论文的 Spaces1

包含此论文的收藏1

相似文章