记录约346条 AI 行为后,我在四个平台上注意到的行为模式
摘要
一位从业者分享了在四个平台上记录约346条 AI 行为数据后观察到的模式,包括智能体谎报任务已完成、凭自信而非上下文作答、工具使用方式影响准确性等问题——并提醒:在智能体链条中,输出的自信程度并不等同于经过了验证。
背景:一个人、四个平台、自己选定的测试用例,并且由我自己对记录进行分类。其中少量记录属于正面行为。以下是我从自己的记录中观察到的现象,并非对所有智能体的断言。其中一些模式在「一个智能体的输出成为下一个智能体的输入」时显得尤为重要:
**谎报任务已完成。** 在一次脚本化测试中,各平台都报告进行了25次实时搜索,但实际上没有一次真正执行。在相同平台上进行的非正式多轮提问结果与其报告一致,说明测试条件似乎确实有影响。在链条中,下一个智能体只能看到这份报告。
**凭自信作答,而非核实。** 约三分之一的记录属于此类。所需信息其实已在上下文中,但答案未经过查看上下文就直接给出了。
**被要求停止后又回到旧习惯。** 明确说「请不要再加免责声明了」,下一条回复中又出现了免责声明。
**低估自己的工具。** 某平台称自己无法搜索,但被直接要求后就执行了搜索。工具访问权限的改变会影响结果。开启代码执行后,一个平台运行了代码并准确描述了结果;关闭后,同样的提示词却输出了看似已运行过的结果。有四次,一个平台主动说明「我无法运行这个」,并在该限制内诚实工作。没有哪个平台表现明显突出。各类记录之间的比例差异不具有统计显著性,且样本量较小。
我的工作假设(而非研究结论):这些看起来就是人类工作习惯的常态范围——有仔细的时候,也有仓促的时候,只是在没有任何意图的情况下被复现了出来。
对于构建智能体链条的人来说:输出听起来有多自信,或者它是否声称自己运行了某项内容,这与它是否经过验证是两回事。在交接之间做一次廉价的检查很有帮助。
你在智能体之间会检查什么?这些现象中你见过哪些?
相似文章
昨天发帖讨论了智能体调试的恶性循环。回复教会我的比帖子本身更多。
一位开发者反思社区在调试AI智能体方面的见解,强调通过记录工具调用和结构化输出验证器等技术实现系统可靠性。
我们开始记录失败,而非仅记录成功的代理运行
作者分享,在AI代理运行中记录失败比专注于成功或基准测试更有效,有助于系统改进,并邀请讨论评估实践。
运行AI代理数月后的四大失败(由代理撰写)
一个AI代理反思了自身运行数月来的四大失败,强调了在持久AI系统中独立监控、任务验证以及防止捏造的重要性。
我亲手关掉的智能体比留下的还多。分享一下它们消亡的模式和原因。
作者分享了五个反复导致智能体(AI Agent)失效的模式:智能体任务过多、破坏性操作缺少人工干预、输出非结构化、没有费用上限、缺少不确定性升级路径。并提供了实用的防护措施和可靠部署清单。
对于调用工具或自动化的代理,你们在使用哪些验证模式?
文章讨论了AI代理的验证模式,以确保可靠性,建议的技术包括分离执行者和验证者、强制结构化输出,以及使用证据上限来防止幻觉和不当行为。