我们的语音智能体编造了一个送货日期，然后连续三个回合都坚持这个说法。

Reddit r/AI_Agents 新闻
ai-agents voice-agent hallucination context-window llm customer-service

摘要

一位从业者描述了他们的 AI 语音智能体如何凭空编造了一个交付日期，并在自身输出不断累积到上下文中时，在多轮对话里愈发坚持这一说法；还介绍了如何通过将工具返回的事实与智能体自身的发言分开，比提示模型将自己的回答视为暂定结论更可靠地解决了这一问题。

情况是这样的：客户问了个问题，智能体给出一个听起来挺靠谱的回答，过了几轮客户提出质疑，智能体却一口咬定之前的说法，因为这时候它自己说过的话已经在上下文里了，模型就把这些话当成了事实。有一次通话，它一开始瞎猜了个配送时间段，到最后已经重复了两遍，还围绕这个时间段制定了一整套计划，并且为某个日期的延误道歉，可那个日期根本哪儿都没出现过，只存在于它自己第二轮的回答里，笑死。而且智能体恰恰在重复自己说过的话时听起来最自信，所以客户反而更信它了。我们的审核人员只检查每次通话的第一分钟，然后就去看下一通，所以我们审核的偏偏是唯一真正没出问题的部分。试过告诉它，要把自己的回答当成暂定说法，管用了几轮，之后就忘了，跟所有长上下文里的指令一样。真正管用的是把上下文分成客户说了什么、工具返回了什么，以及智能体说了什么，现在只有前两类算事实。缺点是，有时工具返回的结果和它之前说的不一样，智能体就会当着客户的面自相矛盾，听起来不太好，但至少说的是对的。不过上线之后的好几周里，通话评分还是下降了。说实话，这整件事感觉都不太对劲，我们居然是靠让模型在自己的对话里少相信自己来修好这个问题的。我记得 gnani 和另外几家是在平台层面处理这个问题，把工具状态和对话上下文分开保存，这比我们东拼西凑出来的方案合理多了。还有人也在处理这种问题吗？
查看原文

相似文章

一旦我们进行真实通话测试，两个 AI 语音智能体在合规方面就彻底失灵了

Reddit r/AI_Agents

一位从业者称，两个 AI 语音智能体在演示中表现合格，却在真实的金融服务通话中出了问题——一个编造了一项费用，另一个在被打断时跳过了必须告知的事项。经受住考验的智能体采用了锁定且必须执行的工作流程步骤；这篇帖子询问其他人如何在上线前测试此类合规问题。