像1930年代设计院一样运行六模型智能体集群:集群只贡献了+0.05,真正起作用的是拆分工作

Reddit r/AI_Agents 论文

摘要

一项自主实验将六模型1-2B本地智能体集群(借鉴1930年代苏联设计院按学科划分的组织架构)与单模型在文档抽取任务上对比,发现真正的收益来自将输入切分成块,而非智能体协作(集群仅贡献+0.05,严格意义上的涌现为零)。

现在人人都在堆叠智能体,所以我就来分享一个平淡无奇的结果。六个小型本地模型组成一个智能体集群,组织方式仿照苏联时期的老式设计院:按学科划分、内部交叉检查、跨学科检查。集群部分相比最好的单模型只增加了 +0.05。真正起作用的是把输入切分成块。在我的抽取任务中(上下文中有18条记录,返回符合某个条件的记录),召回率从位置0的 0.609 降到位置17的 0.214。单调递减,没有U形。模型读得越靠后,就越频繁地说"不"。于是我就做了设计院对待任何超出单人能力的工作时所做的事情:按学科拆分。为什么这是我的第一直觉。Albert Kahn 的底特律事务所大约在1930年为苏联工业设计奠定了基础,五百多座工厂、几千名受过训练的工程师。组织架构沿用至今:按学科拆分、学科内部检查、跨学科检查、一切产出离开大楼之前先过 normocontrol(标准审查)。我就在其中一家设计院工作。是的,我知道这听起来像什么。实验设置:六个本地模型,全部是1-2B规模(qwen2.5-coder-1.5b、llama-3.2-1b、internvl3-2b、qwen3-1.7b、gemma-3-1b、smollm2-1.7b)。40个测试任务,每个18条记录,由脚本切成3个块,每块6条。不是由模型来切——在我早前的一次实验中,一个 LLM 规划器只拿了22%的分数。每个模型都要读每个块。不属于其所在块的 id 会被一个简单的校验当作幻觉丢弃。只有属于该块的模型对某条记录的投票才计入。共720次调用,在 GTX 1660 SUPER 6GB 上运行约10分钟。阈值在实验前就已写定。召回率对比,头部 vs 尾部:记录情况 完整上下文 分块后 位置 0-5 0.508 0.595 位置 12-17 0.304 0.574 差距 0.204 0.021 差距缩小了10倍。位置不再重要。出乎我意料的部分。各模型的精确集合匹配得分:模型 完整上下文 分块后 qwen2.5-coder-1.5b 0.175 0.700 llama-3.2-1b 0.400 0.725 internvl3-2b 0.575 0.825 qwen3-1.7b 0.725 0.850 gemma-3-1b 0.000 0.050 smollm2-1.7b 0.000 0.000 模型越弱,提升幅度越大。那个 coder 模型翻了4倍,几乎追上了领先者。这恰恰就是 Kahn 整套理论的核心:把工作划分得当,平庸的工人也能产出好的结果。gemma 和 smollm 完全无法完成这个任务,任何组织架构都救不了。现在是尴尬的部分。真正的目标是涌现——集群能答对任何单个模型都答不对的问题。我预注册的阈值是40题对34题就值得开香槟。然后我看了看自己在拿什么做对比:完整流程 vs 裸跑的单模型。把最好的单模型(qwen3-1.7b)也送进同一流程:0.850。全部六个模型:0.900。Oracle 口径(六个中任何一个答对即算对):0.975。严格涌现:为零。集群贡献了 +0.05,且从未超出至少某个模型已经能达到的结果。那个34就留在和0并列的 json 里,删掉它就是作弊。所以在 Kahn 的七个组成要素里,只有一个扛起了全部重量——拆分。块内校验免费抓出了5个幻觉 id。跨学科检查无事可做,因为这个任务里的各个块彼此独立。这就是下一个实验。在有人提问之前先说清几点:只有1-2B规模的模型,因为我只有6GB显存。模型越强,增益越小(qwen3-1.7b:+0.125),所以在7B+的模型上增益应该更少。未实测。40个任务、单一任务族、单一拆分方式。块大小6来自召回曲线,从未调参。整体精确集合匹配从 0.750 -> 0.900。最终的是/否判断命中率 1.000,但那是更宽松的指标,0.900 才是诚实的数字。如果你打算把一大堆文档一次性喂给小模型:别这么做。切开它、分块处理、用代码校验 id,而不是再用一个模型来校验。用模型当裁判是另一篇文章的主题,简短版本:比你想象的更糟。报告、协议和脚本在评论区,这里不允许放链接。如果你在跑多智能体系统:你有没有把集群和它自己的最佳单模型在同一流程下对比过?很好奇有没有人跑出超过噪声的结果。这个实验、这些数字、以及那个傻气的涌现阈值都是我的。(非英语母语者,英文由 LLM 辅助完成)
查看原文

相似文章

使用代理群体构建世界模型

Reddit r/AI_Agents

作者描述了构建一个世界模型框架,该框架协调研究代理以最大化评估指标,使用地理空间输入在多模态掩码重建任务中实现了25倍的分数提升。

Agent 集群与新型模型经济学

Hacker News Top

Cursor 的新型 Agent 集群设计采用规划器与工作器模型,将任务分解为树状结构,实现了显著的降本增效。在一项用 Rust 从头重写 SQLite 的测试中,新型集群在四小时内达到 80% 通过率,而旧集群则失败了。

智能体集群中出人意料的领导力动态(17分钟阅读)

TLDR AI

Raindrop.ai 实验让来自四个不同模型的八个 AI 智能体在无指定领导的情况下协同处理模拟故障,发现仅有 5% 的实验涌现出真正能改变队友行为的“领导者”,且 Claude Sonnet 5.5 与 GPT-6.1 Sol 比 Gemini 3.1 Pro 更容易成为领导者,提示智能体编排中的细微配置(如模型选择、名称顺序)会显著影响群体协调。