在实践中,我们的多智能体失败几乎从来不是模型的问题——而是交接环节的问题。MAST数据是否符合您的观察?
摘要
对多智能体LLM流水线失败的分析,引用伯克利MAST论文,该论文将大多数失败归因于协调问题(规范、智能体间不一致)而非模型能力,并建议使用专用验证智能体作为解决方案。
我一直在构建和调试多智能体流水线(编排+工具使用),并不断遇到同一个障碍:一次运行失败后,有人更换模型或增加上下文窗口,它通过了一次,然后在其他地方失败。我们一直把协调问题当作能力问题来处理。伯克利MAST论文(《为什么多智能体LLM系统会失败?》,arXiv:2503.13657)与此一致。他们手动注释了7个框架中的1600多个执行轨迹(6名注释者,Cohen's Kappa系数0.88),并将失败分为3类:- 规范与设计:41.8%(糟糕的分解、角色模糊、无终止条件)- 智能体间不一致:36.9%(交接时上下文丢失、输出冲突、格式不匹配)- 验证:21.3%(过早的“完成”、不完整或错误的检查)评估方面更棘手:各种2026年的审计报告显示,LLM裁判超过一半的时间是错误的,存在位置偏差(偏向第一个答案)和长度偏差。而且pass^k方差非常严重——同一智能体在4次运行中,pass^4的得分可能比pass^1低15-25分。所以一次绿色运行说明不了什么。我的看法:大多数“增加另一个智能体”的修复方案会让情况更糟,因为它们增加了更多的接缝,而不是减少。我发现最被低估的修复方案是使用一个专用验证智能体,它具有独立的上下文和评分标准,生产智能体从未见过——基本上将验证视为一个独立阶段,就像安全流水线中的独立扫描器。
相似文章
让我损失最惨重的智能体故障全都声称成功
作者分析了155个AI智能体任务,发现大多数故障源于基础设施问题,如超时和虚假成功信号,而非模型错误,从而提出了基于效果断言和使用多条验证路径等实践方法。
@UnTalNixon_exe: 多智能体系统中最常见的错误并非你所想的那样。不是选择错误的模型,也不是提示工程……
本文讨论了一篇斯坦福论文,该论文指出信息在交接过程中的丢失是多智能体系统中最常见的错误,并介绍了架构和一个标准循环,包括共享内存、消息模式、可观察性和防护机制,以提升性能。
你的多智能体设置可以把15美元/天变成225–750美元/天 — 而79%的失败源于规格和协调问题
多智能体系统的成本可能是单个智能体的15–50倍,但大多数失败源于规格模糊和协调崩溃,而非模型能力。建议将交接视为API契约,并增加明确的验证。
为何优秀的AI代理仍会产出糟糕的系统输出
一位实践者分享了关于多代理AI管道常在交接点失败的原因,并提出了验证、上下文控制和日志记录等实践来保持可靠性。
结合语言模型何时有益?——路由、投票与多智能体混合在67个前沿模型中的共失败上限
本文揭示了多模型LLM系统的一个基本约束:准确率受制于所有模型在同一查询上同时出错的比率。在67个前沿模型中,常见指标显著低估了全错率,从而限制了投票、路由和集成策略的收益。