Agent2agent 谈判动态与陷阱 - 讨论
摘要
本文讨论了构建双智能体谈判系统时的陷阱,特别是“yes loop”(智能体过于快速地达成一致而不遵守约束)和“无终止”(阈值不重叠时)。作者分享了修复方法,并就评估方法征求社区意见。
构建了一个双智能体谈判系统。一个智能体负责买入,另一个负责卖出,各自持有私有约束(保留价格、离场阈值)并加以维护。单智能体对人类的谈判很容易实现。但智能体对智能体时,系统以我未曾预料的方式崩溃,而这几乎全是循环设计的问题,并非模型质量所致。三种失败模式:
**Yes loop(同意循环)。** 两个智能体都被调教得倾向于友好,因此它们快速趋近于双方委托人都不愿接受的条款。这表现为“成功”,而成功本身就是缺陷。修复方案:在提交前增加一个独立检查——“这符合用户保留价值吗?是/否”,在友好人格之外运行。保持语气上的友善,但不要让它决定是否签署。
**无终止。** 当离场阈值不重叠时,循环永远不会停止。智能体不断重新锚定,无限振荡。没有智能体能主动宣告谈判无望而不泄露自己的数值。修复方案:引入预算,并添加一个无进展检测器(连续 N 轮变化小于 epsilon 即认定无交易),将干净的离场视为成功。调整 epsilon 使其不至于误杀缓慢但真实的收敛,这是难点。
希望交流探讨的点:
1. 同意循环:你们是在提交前做独立检查,还是让保留约束保留在谈判提示中?我的提示在大约第8轮后滑回了友好模式。
2. 判断“这两方永远不会达成一致”而不让任一方看到对方的数值。有人使用中立仲裁智能体或协议截止时间吗?它误杀了多少真正可成的交易?
3. 当对手同样是随机变量时,如何评估智能体对智能体的表现?我目前采用带种子的自对弈,但怀疑无法覆盖尾部分布情况。
相似文章
AgentCollabBench:诊断优秀智能体为何成为糟糕的协作者
本文介绍了 AgentCollabBench,这是一个针对多智能体系统的诊断性基准,用于评估四大主流大语言模型(LLM)中的指令衰减和上下文泄漏等行为风险。文章认为,通信拓扑结构是多智能体可靠性的关键因素,其重要性往往超越了模型的原始能力。
引用 Andreas Påhlsson-Notini 的话
Andreas Påhlsson-Notini 批评当前 AI agent 表现出令人沮丧的“人性”——注意力涣散、来回讨价还价。
停止构建多智能体系统
一篇观点文章认为,向系统中添加更多智能体通常是解决可靠性问题的错误方法,而一个精心设计的、具有更好上下文、工具、护栏和评估的单一智能体通常更优。
智能体系统是否总是遇到相同的四个瓶颈?
作者指出了AI智能体系统在实际应用中的四个关键瓶颈:物理限制、对抗压力、制度权威和关系信任,并询问其他人认为智能体工作流会在哪里失败。
@cyrilXBT: https://x.com/cyrilXBT/status/2070690243880116242
一份实用指南,解释了为何简单的多智能体系统会失败,以及如何利用构建者、法官和管理者角色,通过清晰的交接与验证来构建协调的AI智能体团队。