更好的语义搜索无法修复从不验证上下文的智能体

Reddit r/AI_Agents 新闻

摘要

文章认为,更好的语义搜索或更大的上下文窗口无法修复不可靠的AI智能体;相反,智能体必须在回答或行动之前重新打开原始来源以验证检索到的上下文。

针对智能体记忆薄弱,一个常见的答案是更好的语义搜索或更大的上下文窗口。我不同意。如果智能体从不检查检索到的内容,更强的召回并不会让它更可靠。我最初把记忆层当作一个上下文加载问题:找到最相关的片段并放入提示词中。这个模型的失败是微妙的。一个仓库片段、旧工单、数据库行、文档段落或之前的消息,可能看起来非常相关,但实际上已经过时、不完整,或者超出了智能体的授权范围。于是模型把一个看似合理的指针变成了一个自信的回答。我更信任的逐步实现工作流是:先搜索,再浏览,最后验证。我会把每个经过授权的来源映射到一个稳定的命名空间中,使用 Milvus Lite 作为本地向量工具来缩小候选范围,并要求智能体在回答或行动之前打开原始文件、行、工单或消息片段。搜索决定去哪里找;来源本身决定可以声称什么。我还会把数据导入、删除清理、凭据和权限规则放在推理循环之外。这样灵活性较低,但我认为更小的操作空间是一种特性。它让失败更容易检查,也防止模型悄悄扩大自己的访问权限。我的规则很简单:如果原始上下文无法重新打开并验证,智能体应该说“不知道”。如果请求的操作超出了来源的授权范围,它应该停止。我宁愿智能体偶尔拒绝,也不愿它产生一个只是看起来有依据的答案。在智能体从回答问题转向更改外部系统之前,你需要什么证据?
查看原文

相似文章