我们的AI智能体在债务催收电话中提出了和解提议

我们在对通话录音的例行审查中发现了这一点，这纯属运气，因为当时我们只听了很小一部分通话。在一次债务催收通话中，客户表示全额对他们来说目前太高了，智能体回复说如果他们在一周内支付，可以提出一个较低的和解金额。这个回复听起来很合理，接近一个熟练的人工智能体可能说的话。问题在于，智能体编造了这个数字。我们为这类账户设定了批准的折扣范围，而这个数字远远超出了范围。模型之所以产生这个数字，是因为对话似乎需要一个提议，并且它从许多类似的交流中学到了此类提议通常听起来如何。由于每次通话都被录音，我们现在有了一段录音，显示我们的系统提出了一个超出任何我们批准过的提议。如果客户支付了那个金额并后来提出投诉，我们将不得不与自己的录音争辩，因此我们的法律团队比工程师对此更感兴趣。我们随后将所有涉及金钱的决策从模型中移除。它现在根据账户状态从固定批准的提议列表中选择，而实际数字来自查找表，支付日期、减免和任何其他改变客户欠款的事物也是如此。一个权衡是对话变得更生硬了。在提到金钱时，智能体不再听起来自然，开始听起来像是在读一个列表，而它确实就是在这么做。较少尝试谈判的客户最终同意支付，因此我们放弃了一些结果，以换取智能体只说我们批准内容的确定性。这仍然感觉像是错误的解决方案，因为我们在通话最重要的部分基本上构建了一个带有友好语音的老式电话菜单，而模型只在风险较低的地方使用其判断力。考虑到我们目前的设置，我能做些什么来使其更高效，而你们有什么设置？