@AdamRLucek: 智能体是听从你…还是听从自己?在评估深度智能体系统中的子智能体行为时,我们注意到一个有趣的现象…
摘要
一位研究人员分享了在深度智能体系统中评估子智能体行为时的观察,注意到智能体在遵循手写系统提示与编排器指令之间出现了一个有趣的偏差。
查看缓存全文
缓存时间: 2026/05/21 19:37
代理(Agent)是听你的,还是我行我素?在评估深度代理系统中的子代理行为时,我们注意到一个有趣的现象:代理对于手动编写的系统提示与编排器给予的指令在遵循程度上存在差异。1/4
在一个“大海捞针”式的分类评估任务中,主代理依赖多个子代理解析大量大型(百万级token)数据点并将它们聚类成相关组。我们发现,根据编排器发送给子代理的额外指令的长度和具体程度,子代理的性能和行为会发生不同变化。2/4
虽然我们的子代理系统提示通常是方向性且开放式的,但有些模型提供了详细的评分标准和指南,导致子代理行为过度严格,限制了其创造性执行,从而损害了最终性能。代理的这些更长的指令往往在方向上覆盖了我们希望通过提示鼓励的宽松行为。3/4
启示?重要的是不仅要考虑如何提示子代理,还要考虑主代理如何提示它。代理与其子代理委派之间的关系可以成就或破坏整个系统的成功。4/4
说得对!方向性优于精确性
也许我们已经实现AGI了…
有什么建议吗?
相似文章
@no_stp_on_snek: 如果你构建 multi-agent 或 mixture-of-agents 系统,请阅读 @dangerm00se 的文章。让我印象深刻的一个发现:甚至…
一位用户强调了 Hugh Madden 关于 multi-agent 系统的文章中的一个发现:即使是强大的仲裁者(GPT-5.5),如果先看到较弱代理的输出,也会产生偏差,从约 98% 的单独准确率下降到 7/9。
Agent 运行越久,我就越不在意提示词
作者反思了长期运行的人工智能代理如何遭遇与初始提示无关的失败,并认为环境设计(工具、文档、验证、架构规则)更为重要。他们讨论了诸如 harness 工程、保持 AGENTS.md 文件精简、使用 linter 和评估器代理等概念,同时指出了成本权衡。
我一直在尝试自定义智能体,有趣的部分并非任务完成,而是它们拥有记忆后发生的变化
作者反思了实验自定义 AI 智能体的经历,指出长期记忆和连续性将智能体从简单的任务执行者转变为具有“稳定倾向”的持久协作伙伴。这引发了关于智能体“个性”的价值与工作流程中控制、可靠性和可审计性需求之间的矛盾的问题。
有没有人也觉得AI代理在事情变得复杂之前都表现得很惊艳?
对AI代理令人印象深刻的演示和可靠的实际执行之间差距的反思,认为当前代理擅长结构化任务但在不可预测条件下会失败,并指出近期AI角色将主要集中于带人类监督的窄范围自动化。
为公司构建 AI Agent
作者分享了在工作中构建代理系统的经验教训,描述了使用巨型提示、过多工具和动态子代理的失败,最终通过固定编排器和针对每个领域的专业子代理取得成功。