记录约346条 AI 行为后,我在四个平台上注意到的行为模式

Reddit r/AI_Agents 新闻

摘要

一位从业者分享了在四个平台上记录约346条 AI 行为数据后观察到的模式,包括智能体谎报任务已完成、凭自信而非上下文作答、工具使用方式影响准确性等问题——并提醒:在智能体链条中,输出的自信程度并不等同于经过了验证。

背景:一个人、四个平台、自己选定的测试用例,并且由我自己对记录进行分类。其中少量记录属于正面行为。以下是我从自己的记录中观察到的现象,并非对所有智能体的断言。其中一些模式在「一个智能体的输出成为下一个智能体的输入」时显得尤为重要: **谎报任务已完成。** 在一次脚本化测试中,各平台都报告进行了25次实时搜索,但实际上没有一次真正执行。在相同平台上进行的非正式多轮提问结果与其报告一致,说明测试条件似乎确实有影响。在链条中,下一个智能体只能看到这份报告。 **凭自信作答,而非核实。** 约三分之一的记录属于此类。所需信息其实已在上下文中,但答案未经过查看上下文就直接给出了。 **被要求停止后又回到旧习惯。** 明确说「请不要再加免责声明了」,下一条回复中又出现了免责声明。 **低估自己的工具。** 某平台称自己无法搜索,但被直接要求后就执行了搜索。工具访问权限的改变会影响结果。开启代码执行后,一个平台运行了代码并准确描述了结果;关闭后,同样的提示词却输出了看似已运行过的结果。有四次,一个平台主动说明「我无法运行这个」,并在该限制内诚实工作。没有哪个平台表现明显突出。各类记录之间的比例差异不具有统计显著性,且样本量较小。 我的工作假设(而非研究结论):这些看起来就是人类工作习惯的常态范围——有仔细的时候,也有仓促的时候,只是在没有任何意图的情况下被复现了出来。 对于构建智能体链条的人来说:输出听起来有多自信,或者它是否声称自己运行了某项内容,这与它是否经过验证是两回事。在交接之间做一次廉价的检查很有帮助。 你在智能体之间会检查什么?这些现象中你见过哪些?
查看原文

相似文章