AI自信地给你过时的信息。原因之一及如何避免

Reddit r/AI_Agents 新闻

摘要

解释为何AI模型因上下文持续存在而自信地提供过时信息,并提供实用建议,如使用干净的上下文和时间戳值。

我最近发现了一件有趣的事,关于为什么AI总是自信地向我提供过时信息。我设置了一个每日定时任务,让AI拉取一组文档并标记不一致之处。我发现它总是重复使用昨天的数字,即使底层文档已经更新——而且无论哪种情况它都显得同样确定。于是我开始深究,因为它在其他任务中也相当一致地给我过时的数字。原因似乎是这样的:一旦某条信息进入聊天,它就会留在上下文中。即使你告诉模型去获取最新信息,它也无法区分一段文字是"旧"还是"新"——旧的版本和新的版本对它来说看起来同样有效。所以,“总是获取更新信息”或“忽略你的记忆”实际上并没有帮助。你是在让它做出一个它根本做不到的区分。以下是一些对我有用的方法:尽可能将易过时的数据排除在聊天之外(在干净上下文中重新获取,而不是将其携带前进)对于无法避免的情况,给每个值加上时间戳在重要决策前检查原始获取结果对重要的事情花30秒。这就是全部要点。我写了更详细的一篇文章——链接在评论中。
查看原文

相似文章

AI正在实时退化

Reddit r/ArtificialInteligence

AI模型因使用递归生成的合成数据进行训练而不断退化,导致模型崩溃;多项研究强调了使用合成数据进行规模化训练的风险。

AI记忆正成为新的技术债务。

Reddit r/AI_Agents

文章警告说,虽然AI记忆系统在演示中令人印象深刻,但它们常常导致过时的事实、冲突的偏好和损坏的摘要,从而造成未来的调试噩梦和技术债务。