Agent2agent 谈判动态与陷阱 - 讨论

Reddit r/AI_Agents 新闻

摘要

本文讨论了构建双智能体谈判系统时的陷阱,特别是“yes loop”(智能体过于快速地达成一致而不遵守约束)和“无终止”(阈值不重叠时)。作者分享了修复方法,并就评估方法征求社区意见。

构建了一个双智能体谈判系统。一个智能体负责买入,另一个负责卖出,各自持有私有约束(保留价格、离场阈值)并加以维护。单智能体对人类的谈判很容易实现。但智能体对智能体时,系统以我未曾预料的方式崩溃,而这几乎全是循环设计的问题,并非模型质量所致。三种失败模式: **Yes loop(同意循环)。** 两个智能体都被调教得倾向于友好,因此它们快速趋近于双方委托人都不愿接受的条款。这表现为“成功”,而成功本身就是缺陷。修复方案:在提交前增加一个独立检查——“这符合用户保留价值吗?是/否”,在友好人格之外运行。保持语气上的友善,但不要让它决定是否签署。 **无终止。** 当离场阈值不重叠时,循环永远不会停止。智能体不断重新锚定,无限振荡。没有智能体能主动宣告谈判无望而不泄露自己的数值。修复方案:引入预算,并添加一个无进展检测器(连续 N 轮变化小于 epsilon 即认定无交易),将干净的离场视为成功。调整 epsilon 使其不至于误杀缓慢但真实的收敛,这是难点。 希望交流探讨的点: 1. 同意循环:你们是在提交前做独立检查,还是让保留约束保留在谈判提示中?我的提示在大约第8轮后滑回了友好模式。 2. 判断“这两方永远不会达成一致”而不让任一方看到对方的数值。有人使用中立仲裁智能体或协议截止时间吗?它误杀了多少真正可成的交易? 3. 当对手同样是随机变量时,如何评估智能体对智能体的表现?我目前采用带种子的自对弈,但怀疑无法覆盖尾部分布情况。
查看原文

相似文章

AgentCollabBench:诊断优秀智能体为何成为糟糕的协作者

arXiv cs.CL

本文介绍了 AgentCollabBench,这是一个针对多智能体系统的诊断性基准,用于评估四大主流大语言模型(LLM)中的指令衰减和上下文泄漏等行为风险。文章认为,通信拓扑结构是多智能体可靠性的关键因素,其重要性往往超越了模型的原始能力。

引用 Andreas Påhlsson-Notini 的话

Simon Willison's Blog

Andreas Påhlsson-Notini 批评当前 AI agent 表现出令人沮丧的“人性”——注意力涣散、来回讨价还价。

停止构建多智能体系统

Reddit r/AI_Agents

一篇观点文章认为,向系统中添加更多智能体通常是解决可靠性问题的错误方法,而一个精心设计的、具有更好上下文、工具、护栏和评估的单一智能体通常更优。