我对多智能体系统最大的改进,是让智能体变得更不重要

Reddit r/AI_Agents 新闻

摘要

一位实践者描述了如何重构一套生产级多智能体系统,使智能体变成可替换的执行者,嵌入在一套持久的架构之中——该架构以权威状态、任务契约、能力路由、独立验证和确定性检查为核心。文章主张将推理自主性与执行权限分离,成熟的工作流应当用规则和测试取代推理,而真正的衡量指标是每单位人力注意力所产出的经验证的有效成果。

过去几周,我一直在重构一套我实际用于工作的、相当庞大的多智能体系统的架构。而最大的观念转变出人意料地简单:我不再希望智能体就是系统本身。我希望它们成为系统内部可替换的执行者。 最初,和许多人一样,我主要以角色来思考:总监 → 研究员 → 分析师 → 执行者 → 审核者 这仍有其价值,但一旦任务变成长周期且后果重大的工作,一个更重要的问题就浮现出来:当我替换掉执行者之后,什么能留存下来? 如果我将 Codex 换成另一个模型、一个更便宜的模型、一个确定性脚本、一个专职智能体,甚至一个人类,我不希望失去: - 项目状态 - 最初的目标 - 规则和方法 - 权限 - 目前为止收集到的证据 - “完成”的定义 - 已经尝试过的内容的历史记录 所以我正在转向的架构更像这样: 权威状态 → 有边界的任务契约 → 能力路由 → 合适的执行者 → 结构化结果 → 尽可能的确定性检查 → 必要时的独立语义验证 → 经过验证的状态更新 → 下一项工作 执行者是暂时的。任务、权限和证据才是持久的。 这带来了几项其他改变。 第一:“完成”不再由执行者自行宣布。如果任务改变了某个外部系统,系统应当独立地读回所产生的状态。如果预期创建了一个文件,就去检查文件。如果预期修改了一条记录,就去读取记录。如果预期部署了代码,就去验证部署后的状态。 模型可以说“我完成了”。但那是一种声称,不是证据。 第二:我正在将推理自主性与执行权限分开。一个强大的模型可以被允许去探索、质疑假设、提出完全不同的策略。但这并不意味着它同时也应该决定自己拥有哪些凭据、适用哪些规则、可以花费多少钱,或者是否可以绕过审批。智能体越聪明,把这些边界设置在智能体之外就变得越重要。 第三:我正在更加激进地从不再需要推理的工作中移除推理。如果一个新问题需要强推理,那就使用它。但一旦同一个模式已经被反复解决,而我们也理解了这个方案为何有效: 经验 → 规则 规则 → 测试 测试 → 工作流 一个成熟的智能体系统,其中应该包含多得出人意料的“无聊的”确定性软件。我不希望一个前沿模型去重新推导一个已知的计算、检查一个 JSON schema、核对 ID,或者判断某个文件是否存在。推理是为不确定性服务的。 第四:模型选择开始看起来不那么像一个产品决策,而更像资源分配。有些工作需要: 完全不需要模型 → 廉价的有边界分类 → 常规推理 → 前沿推理 → 人类判断 问题不再是“哪个模型应该运行这个工作流?”而变成:“可靠完成这一步,最低需要哪个层次的智能?” 最后,我改变了我真正在意的指标。Token 成本当然重要。但我系统中真正稀缺的资源,是我的注意力。所以,我越来越关注的指标是: 每单位人力注意力与总成本所对应的、经验证的有效产出。 如果一个自主系统产出增加了 10 倍,但我必须逐一检查所有产出、处理过期状态、确认每一个动作、修复每一个异常,那我并没有真正获得 10 倍的杠杆。我只是变成了一个非常快的初级团队的质检部门。 我不是软件工程师——我以前是 CEO 和经济学家——所以也许这就是为什么我越来越把智能体架构视为一个组织设计问题。系统需要一些类似于这样的东西: 管理层、员工、公司规则、决策权、内部控制、审计、组织记忆,以及升级路径。 大语言模型极其重要。但我越来越确信,长期价值不在于大语言模型本身,而在于围绕它建立的组织。 我很好奇,其他在构建长周期系统的人是否也在朝同一个方向收敛。你的架构中,哪一部分曾经是“智能体问题”,最终变成了普通软件?
查看原文

相似文章

停止构建多智能体系统

Reddit r/AI_Agents

一篇观点文章认为,向系统中添加更多智能体通常是解决可靠性问题的错误方法,而一个精心设计的、具有更好上下文、工具、护栏和评估的单一智能体通常更优。

多智能体优势的幻觉

arXiv cs.AI

本文挑战了多智能体系统优于单智能体系统的普遍说法,通过系统评估证明了自动生成的多智能体架构在性能上不如使用自一致性的思维链(CoT-SC),同时成本却高出高达10倍,并揭示了当前自动设计范式中的架构臃肿问题。