一位客户投诉我们智能体三周前所说的内容,但我们无法还原当时情况

Reddit r/AI_Agents 新闻

摘要

一家公司讲述了一起客户投诉AI智能体输出错误内容的事件,但由于版本管理不善,他们无法还原确切的提示词和模型版本,凸显了AI部署中需要更好的可追溯性。

支持团队在周二转发了工单。客户有截图,所以我们知道确切的输出内容。自信、具体、但错误——如果客户按此操作,会让他们损失真金白银。于是我们开始查找原因。我们有输出日志,有时间戳,但缺少生成该输出的提示词。我们的系统提示词存放在一个配置文件中,当月有两人编辑过该文件,编辑内容作为较大提交的一部分混入,提交信息类似“copy tweaks”。某处关于不要给出具体数字的指令被弱化了。没人记得做过这件事。更糟糕的是,我们在同一时间段还升级了模型版本。所以即便我找到了正确的提示词文本,也无法判断输出是来自旧模型搭配新提示词,还是新模型搭配旧提示词。最终我们只能向客户道歉,却无法解释原因。这至今让我耿耿于怀。不在于回答错误——每个系统迟早都会出错——而在于,坐在一群工程师中间,却无法回答‘7月2日我们到底让它干什么了’。之后我们修复了明显的问题:提示词进行了版本管理并与模型版本绑定,配置更改也不再混入无关的提交中。不过我很好奇其他人如何处理这类溯源问题。当投诉涉及几周前发生的事情时,你们真能还原确切的输入吗?还是大家都暗自祈祷别遇到这种事。
查看原文

相似文章