我的智能体并没有忽视客户,是我自己的安全守卫吞掉了回复
摘要
一位开发者详细说明了他们的AI智能体为何保持沉默——原因是安全守卫故障关闭、超时以及嵌套JSON问题,并强调在面对客户的聊天机器人中,沉默故障比错误答案更糟糕。
几个星期以来,用户报告说智能体不理会他们。我以为是模型不稳定,花了很多时间更换模型和重写提示。但这从来都不是模型的问题。三个bug,全是我自己的,每一个都造成了沉默而不是报错。一个在传送路径上故障关闭的防护。每条外发回复都要经过一个语义检查,该检查有10秒超时,而检查本身调用的模型很慢,所以经常超时。超时分支是'不发送',这意味着在聊天频道上,客户什么也看不到。错误的答案可以挽回,沉默则不行。基于一个小型路由模型的猜测,工具在轮次运行前就被移除了。有人请求提醒,路由模型交给轮次一个日历工具包,智能体试图引导用户连接谷歌日历,而不是使用自己的调度器。从外部看,这就像一个愚蠢的模型。但它其实是被困住了。嵌套的工具参数以JSON字符串而非对象的形式到达。处理程序对dict进行了isinstance检查,并静默地丢弃了其他所有类型,因此那些提醒上的run_at时间戳消失了,没有任何错误。共同的模式是,每个防护都将错误状态变成了安静状态,而且每一个都通过了测试套件,因为测试断言的是防护触发了,而不是用户实际收到什么。如果你在实时渠道上运行智能体,我想知道你是选择了故障开放,还是找到了在保持阻塞检查的同时避免沉默风险的方法。
相似文章
我的同事让他的人工智能代理在他“没空”时自动回复Slack消息。结果并不顺利。
一名员工使用人工智能代理自动回复Slack消息,该代理在客户截止日期问题上给出了一个自信但完全错误的答案,这凸显了信赖语气和流畅性而非准确性的风险。
智能体运行完美,团队却悄悄把它扼杀了。
一位开发者为客户构建了一个可用的报告智能体,但它被悄然放弃,因为它威胁到某团队成员的地位和可见度。这个故事揭示了AI自动化项目中常被忽视的人性动态。
我们可以看到每个代理独自做了什么,但对它们之间发生了什么却一无所知,直到一个糟糕的输出到达客户手中。
关于理解AI代理之间交互的挑战的评论,其中单个行为可见,但集体行为不透明,直到故障到达客户那里。
经过一年使用AI代理发布产品,以下仍是它们经常出错的地方
一位开发者分享了使用AI代理编写代码一年后发现的持久性故障模式,包括代码看似正确实则错误、无法维护跨文件架构、对错误决策缺乏质疑、以及安全边缘情况问题。
你的AI智能体只需一个糟糕的提示就能毁掉你的品牌(以及为什么传统QA毫无用处)
文章认为传统的聊天机器人QA是有缺陷的,因为它只测试了理想路径(happy path),并提出使用AI驱动的用户模拟器,通过多样化的角色和边缘案例来攻击机器人,在部署前发现漏洞。